A dupla foi formada por Paul Frederick Simon, nascido em Newark, New Jersey, Estados Unidos,
no dia 13 de outubro de 1941 e Arthur Garfunkel, nascido em Forest Hills, New York,
Estados Unidos, no dia 5 de novembro de 1941.Os primeiros trabalhos, em sua maioria escritos por Simon eram próximos à música folk acompanhados apenas por instrumentos acústicos.
No início de carreira, eram intitulados Tom & Jerry, até que decidiram por seus nomes reais. O álbum de 1966 "Sounds of Silence" foi um estrondoso sucesso.
"Mrs. Robinson", lançado no ano seguinte na trilha do filme "The Graduate", trouxe à dupla fama mundial.
Já o álbum de 1970, "Bridge Over Troubled Water", vendeu mais de oito milhões de cópias. Neste mesmo ano, a dupla se separou.
Garfunkel dedicou-se ao cinema e gravou ocasionalmente alguns discos; Simon prosseguiu exclusivamente na música com sucesso nos anos 70, voltando-se mais a suas origens do folk-pop experimentando ritmos e sons latinos e africanos.
Em 1982, reuniram-se para o lendário concerto no Central Park em New York, sucesso em álbum e vídeo.
Influenciado por seus experimentos musicais, Simon gravou "Graceland" (1986), outro grande sucesso e com o qual ganhou o Grammy. Posteriormente, explorou ritmos brasileiros em "Rhythm of the Saints" (1990).