John Haley Sims nasceu em Inglewood, Califórnia, Estados Unidos, em 29 de outubro de 1925.Reconhecido como um fluente e consistente improvisador do saxofone, é o idealizador do som denominado cool jazz.
Tornou-se famoso como componente dos "Four Brothers", a sessão de saxofones de Woody Herman (1947 a 1949).
Seu estilo (inspirado em Lester Young), foi desenvolvido em diversas bandas, incluindo as de Benny Goodman e Bobby Sherman no início até a metade dos anos 40.
Nos anos 50, trabalhou com Stan Kenton, novamente Goodman e Gerry Mulligan. Em 1959, formou o "Zoot Sims-Al Cohn Quintet" que por muitos anos se apresentou como um grupo de dois tenores.
Sims faleceu no dia 23 de março de 1985.