Green trat bereits mit 13 Jahren als Musiker auf. In jungen Jahren wurde er durch die Musik von Charlie Christian und Charlie Parker beeinflusst. Zunächst spielte er Boogie-Woogie, später wechselte er zum Rhythm and Blues und zum Jazz. Seine erste Aufnahme in St. Louis nahm er mit dem Tenorsaxophonisten Jimmy Forrest auf; der Schlagzeuger der Band war Elvin Jones, der Pianist Harold Mabern. Weiterhin spielte er in den Bands von Sam Lazar (1960) und Jack Murphy. Schließlich wurde er von Lou Donaldson entdeckt, als er in einer Bar in St. Louis spielte. Nach einer Tournee mit Donaldson kam er im Herbst 1960 nach New York.

Donaldson machte ihn mit Alfred Lion von Blue Note Records bekannt. Lion war von Grant so beeindruckt, dass er ihn direkt als Bandleader engagierte. Diese Beziehung hielt, bis auf wenige Ausnahmen, über die gesamten 1960er Jahre. Zwischen 1960 und 1965 nahm er bei Blue Note als Leader oder Bandmitglied mehr Platten auf als irgendjemand sonst; zu seinen herausragenden Alben gehörten seine Quartettaufnahmen mit Sonny Clark 1961/62, Blue and Sentimental mit Ike Quebec und das Album Idle Moments mit Joe Henderson und Bobby Hutcherson. Sein erstes Album als Bandleader war „Grant´s First Stand“. Seine lineare Gitarrenarbeit in den Orgeltrios von Jack McDuff, John Patton und Larry Young galt damals als richtungsweisend.[2] Er spielte mit Jazzgrößen wie z. B. Lee Morgan (Search for the New Land 1964), Hank Mobley, Ike Quebec, Stanley Turrentine und Harold Vick. Grant wurde als Bester Newcomer von Down Beat im Jahre 1962 gewählt.

Im Jahre 1966 verließ Grant Blue Note, um Platten für verschiedene andere Label, darunter Verve Records, aufzunehmen. Zwischen 1967 und 1969 nahm er aufgrund persönlicher Probleme und der Begleiterscheinungen seiner Heroinsucht keine Platten auf.

1969 kam er mit einer mehr Funk-orientierten Band zurück auf die Bühne. In diese Periode fiel auch der kommerzielle Erfolg „Green is Beautiful“ und der Soundtrack zum Film „The Final Comedown“. Grant verließ Blue Note abermals im Jahre 1974, um kommerziellere Projekte zu verfolgen.

Das Jahr 1978 verbrachte Grant zum größten Teil im Krankenhaus. Gegen den Rat seiner Ärzte ging er wieder auf Tournee. In New York spielte er mit George Benson. Grant starb am 31. Januar 1979 im Alter von 43 Jahren an einem Herzinfarkt. Er wurde in seinem Heimatort St. Louis begraben und hinterließ sechs Kinder.