La primera influencia musical de Silver fue la música folclórica de Cabo Verde que pudo escuchar de su padre, oriundo de Portugal. Más tarde, tras empezar a tocar el piano y el saxofón en el instituto, Silver se situó bajo el influjo de los cantantes de blues y de los pianistas de boogie-woogie y de bop como Thelonious Monk y Bud Powell. En 1950, Stan Getz tocó un concierto en Hartford con una sección rítmica compuesta por Silver, el batería Walter Bolden y el bajo Joe Calloway. Stan Getz quedó tan impresionado que contrató al trío y Silver se trasladó con él a Nueva York.
Sus grabaciones realizadas como sideman de Miles Davis (1954), Jay Jay Johnson (1955), Art Farmer (1954) y especialmente las publicadas a nombre de Art Blakey, también en 1954: 'A Night at Birdland, Vols. 1 y 2' y 'Jazz Messengers at Café Bohemia', ambas en Blue Note, sirven igualmente para comprobar su enorme aportación al jazz. Hacia 1956 Silver había abandonado a los Messengers para grabar por su cuenta.
Los discos que grabaría a continuación para Blue Note le consolidarían como uno de los más importantes compositores y pianistas del jazz; se trata de discos como 'Blowin' the Blues Away' y 'Song for My Father' (los dos grabados con el trompetista Blue Mitchell y el saxo tenor Junior Cook). 'Song for My Father' es la joya de la corona de su carrera y una de las grandes obras maestras del periodo hardbop en el jazz.
Junto a Horace Silver crecieron generaciones de jóvenes talentos como el citado Blue Mitchell, Art Farmer, Woody Shaw, Stanley Turrentine, Joe Henderson, Bennie Maupin, Randy y Michael Brecker, George Coleman, Tom Harrell y Dave Douglas. Silver grabó en exclusiva para Blue Note hasta la decadencia del sello a finales de los años setenta en los que empezó a trabajar para su propia compañía, Silveto. Su nueva música, más experimental, no fue tan bien recibida, pero durante los ochenta regresó al hard bop y comenzó a escribir letras para sus composiciones. Su música se aproximó a intenciones espirituales, que ejemplifican títulos como 'Spiritualizing the Senses' (1983) y 'Music to Ease Your Disease' (1988).
En los noventa Silver cerró su sello y comenzó a grabar para Columbia, con la que retomó posiciones de popularidad en el mundo del jazz con trabajos como 'It's Got to be Funky' (1993), 'Pencil Packin' Papa' (1994), 'The Hardbop Grandpop' (1996) y 'A Prescription for the Blues' (1997) aunque cada vez más afectado por la artritis. Murió en junio de 2014 a los 85 años.