Aunque nacido en Nashville, en 1912 Leroy se trasladó con su madre a Indianápolis. Aprendió a tocar el piano en casa y, siendo todavía un niño, se fugó con una compañía circense. Más tarde, pero antes de alcanzar la mayoría de edad, se alistó en el ejército, que lo destinó a Fort Huachuca (Arizona). Recién cumplidos los diecisiete años (1923), contrajo matrimonio. Parece ser que cumplió un año de prisión en la State Farm, acusado de tráfico de alcohol. Fue en uno de estas 'transacciones' cuando conoció al guitarrista Scrapper Blackwell, que había montado un floreciente negocio de fabricación ilegal de alcohol: "Le conocí vendiendo mi mercancía. Me compró todo el alcohol que tenía por lo que tuve que cerrar el negocio".
Carr le sugirió que grabaran juntos y el encuentro marcó un punto histórico de la historia del blues. Carr tocaba el piano con un estilo suave y vibrante y poseía una voz agridulce. Como cantante, Blackwell era el menos original, pero cubría una gama tonal más amplia. Su forma de tocar la guitarra, contrastando secuencias de acordes y punteando una sola cuerda, presentaba una austera nitidez que compensaba a la perfección la delicadeza de Carr. Juntos formaron un dúo sin par. El estimulante ritmo que conseguían era contagioso. Cada uno por su lado se hallaba desvalido: era su acoplamiento perfecto y su modo de apoyarse, sin esfuerzo, el uno sobre el otro, lo que les transformaba.
La mayoría de sus grabaciones consistieron en blues que Blackwell había escrito con la ayuda de su hermana, Mrs. Mae Malone. Se trataba de blues muy bien compuestos y estructurados pero con escasos elementos poéticos. Sin embargo, algunos versos de sus canciones, como "Sol, apresúrate a ver qué nos trae la mañana...", o "Sentí el blues antes del amanecer, con lágrimas en los ojos..."; o bien "Durante las horas de la noche, antes de que rompa el día..." pasaron a la tradición popular y pronto todos los cantantes de blues se sabían de memoria sus éxitos: 'How long how long blues', 'Blues before sunrise', 'Shady lane', 'Mean mistreater mama' o 'Prison bound blues'.
La Depresión paralizó momentáneamente sus grabaciones, y entonces estuvieron actuando en distintos locales, como el Booker T. Washington Theatre o el Charles Turpin's Jazzland Club de St Louis. Cuando el dinero empezó a fluir de nuevo, Blackwell y Carr figuraron entre los primeros intérpretes de blues en reanudar su carrera discográfica. Sin embargo, la vida era dura, y, para afrontarla, ambos bebían ingentes cantidades de whisky de pésima calidad. Leroy Carr sufría agudos dolores a causa de su hígado maltrecho, que empeoraban por momentos. En tales condiciones, hallándose en una fiesta la noche del 28 de abril de 1935, intentó ahogar sus preocupaciones bebiendo aún más. Sufrió un agudo ataque nefrítico. Parece ser que ese mismo día tuvo una discusíon con Scrapper y éste no se hallaba a su lado. De madrugada, Carr murió y Blackwell, destrozado, jamás se recuperó del golpe.
El dúo que formaron Carr y Blackwell dejó una profunda huella en numerosos músicos de blues. Su estilo vocal trasladó el canto del blues hacia una sofisticación urbana e influenció a cantantes como Champion Jack Dupree, T-Bone Walker, Charles Brown, Amos Milburn, Jimmy Witherspoon y Ray Charles. Asimismo, Carr influyó en la música de Mercy Dee Walton y de otros pianistas procedentes de Lousiana, Alabama y Texas, estados no incluidos en el territorio que solían abarcar Leroy y Scrapper. Esta amplia divulgación de su música no sólo prueba el alto concepto que de ellos tenían los demás cantantes de blues, sino que también indica el enorme poder que ya estaba alcanzando la industria discográfica.