Gordonin ura alkoin 1940-luvulla Lionel Hamptonin yhtyeessä, jonka kanssa hän teki ensimmäiset levytyksensä vuonna 1942. Pian hän teki ensimmäiset levynsä yhtyeen johtajana kvintetillä, jossa Nat King Cole soitti pianoiina. Vuonna 1944 hän muutti New York missä hän pian nousi uuden bebop-tyylin kärkinimien joukkoon.
1960 luvulle tultaessa Gordon sai yhä enemmän levytystilaisuuksia Blue Note levy-yhtiöltä. Hänen johtamilla levyillä tenorisaksofonin soundi ja väri pääsivät oikeuksiinsa ja yhä enemmän kuulijat alkoivat ostaa hänen levyjään ja käymään konserteissa.