Perteneciente a la corriente bebop, Phil comenzó a tocar el saxo con doce años, y estudió música con Lennie Tristano -gran influencia en su carrera-, en la Manhattan School of Music y en The Juilliard School, donde estudió clarinete. Aunque nunca copió a Charlie Parker, fue conocido como el 'New Bird', un apodo que también se le ha aplicado a otros músicos como Sonny Stitt y Cannonball Adderley en un momento u otro de sus carreras. Casualmente, se casó con la viuda de Charlie, Chan Parker.
Al fnal de la década, desanimado con la escena del jazz estadounidense, marcha a Europa y se establece en Francia en 1968. Los siguientes cuatro años lideraría un grupo bastante vanguardista, The European Rhythm Machine, con George Gruntz al piano, Henri Texier al contrabajo y Daniel Humair a la batería,
Regresó a Estados Unidos en 1972 y tras un frustrado intento de establecer un grupo electrónico con Pete Robinson a los teclados, formó una banda que perduró con algunos cambios hasta nuestros días. El quinteto inicial de 1973 estaba formado por el pianista Mike Melillo, el bajista Steve Gilmore, el guitarrista Harry Leahey y el baterista Bill Goodwin, realizando su debut con el magnífico 'Live from the Show Boat', Cuando Leahey abandonó la formación en 1978 la banda se conoció como el Phil Woods Quartet hasta que se les unió el trompetista Tom Harrell (1983-1989). Más tarde pasarían por la banda el trompetista Brian Lynch, el trombonista Hal Crook (1989-1992) y los pianistas Hal Garper (1980-1990), Jim McNeely (1990-1995) y Bill Charlap.
Entre sus grabaciones más destacadas se encuentran 'Birds of a Feather' (1981), 'Bop Stew' (1987), 'Evolution' (1988), 'Our Monk' (1994), 'Just Friends' (1998), 'Dameronia' (2001) y 'The Gershwin Affair' (2007). Como músico de sesión su trabajo más conocido fue su colaboración en el tema pop de Billy Joel 'Just the way you are', donde tocó el solo de saxo. Tocó también el saxo alto en el tema de Steely Dan 'Doctor Wu', de su conocido y elogiado disco de 1975 'Katy Lied', así como en el éxito de Paul Simon de 1975 'Have a good time'.
Murió en septiembre de 2015 a los 83 años.