Terry spielte in der Highschool-Band zunächst Posaune, wechselte aber rasch zur Trompete. Während des Zweiten Weltkrieges war Terry von 1942 bis 1945 als Mitglied in einer Militärband der US Navy, wo er sich mithilfe einer Klarinettenschule eine ungewöhnlich flüssige Technik erarbeitete und auch mit Zirkularatmung experimentierte. Danach spielte er kurz mit Lionel Hampton und in den Bands von Charlie Barnet, Eddie „Cleanhead“ Vinson, Charlie Ventura und George Hudson. Von 1948 bis 1951 war er Mitglied des Count Basie Orchestra. Seinen Durchbruch brachte die Arbeit im Orchester von Duke Ellington von 1951 bis 1959; anschließend tourte er mit Quincy Jones durch Europa. Danach fand er eine feste Anstellung bei der NBC in New York City und beim Fernsehen, wo er bis 1972 als Solist in der Band von Johnny Carsons Tonight Show auftrat. Daneben baute er in den frühen 1960er Jahren ein Quintett mit Bob Brookmeyer auf.

Nach der Trennung von der Tonight Show begann Terrys Karriere als Studiomusiker und internationaler Star. Er gründete seine beiden Ensembles, die Clark Terry’s Big Band und das Quintett Clark Terry and his Jolly Giants und trat weltweit bei Festivals sowie Konzerten in Clubs auf und spielte Aufnahmen mit dem London Symphony Orchestra, dem Duke Ellington Orchestra und dem Chicago Jazz Orchestra ein. Er arbeitete mit Musikern wie Ella Fitzgerald, Oscar Peterson, Dizzy Gillespie, Dinah Washington, Ben Webster, Charlie Barnet, Doc Severinsen, Ray Charles, Billy Strayhorn, Dexter Gordon, Thelonious Monk, Billie Holiday, Sarah Vaughan, Coleman Hawkins, Zoot Sims, Milt Jackson, Jon Faddis und Dianne Reeves.

Terry wirkte sowohl als Bandleader wie auch als Solist. Er komponierte über zweihundert Songs, unterrichtete und schrieb mehrere Bücher. Er wurde dreimal für den Grammy nominiert und einmal mit ihm ausgezeichnet, erhielt über ein Dutzend Ehrendoktortitel[1] und einen Platz in der Kansas City’s Jazz Hall of Fame. 2010 erhielt er den Grammy Lifetime Achievement Award. Er starb am 21. Februar 2015 in einem Krankenhaus in Pine Bluff, Arkansas, im Alter von 94 Jahren an den Folgen eines Diabetes und Herzproblemen.[2]