Nascido Asa Yoelson em Srednick, Lituânia, Rússia, em 26 de maio de 1886, emigrou para os Estados Unidos, onde radicou-se com sua família em Washington D.C. em 1893.Em 1909, juntou-se ao grupo Lew Dockstader's Minestrel Troupe e logo tornou-se o artista principal de comédias e cantor.
Em 1911, ganhou seu primeiro papel importante na Broadway, no show La Belle Paree e seguiram-se Honeymoon Express (1913), Bombo (1921) e Big Boy (1925).
Grande parte de seu sucesso foi alcançado quando trabalhou com o conceituado Lee Shubert.
Al Jolson foi o astro principal do primeiro filme sonoro de importância da história, a memorável produção da Warner Brothers, "The Jazz Singer", em 1927.
Além desse impressionante trabalho, Al trabalhou em outros como "The Singing Fool" (1928) e "Say It With Songs" (1929).
Autor de muitas canções populares e de um estilo único (sua famosa maquiagem o transformava em negro), conquistou muitos seguidores.
Sua vida foi filmada em 1946 em "The Jolson Story". Por este trabalho, Jolson receberia postumamente a medalha do mérito do Congresso americano.
Em 1950, ainda esteve nos campos da recém-iniciada guerra da Coréia, porém, faleceu no dia 23 de outubro desse mesmo ano em San Francisco, California.