Gossett oli nuorempana lahjakas urheilija, mutta urheiluvamma pakotti hänet valitsemaan myös näyttelytunteja High Schoolissa, jonka jälkeen hän pääsi New Yorkin yliopistoon. Siellä hän oli koulun koripallojoukkueen tähtipelaaja.
NBA-joukkue New York Knicksin varasi Gossettin, mutta hän päätti kuitenkin keskittyä elokuvauran luomiseen. Hänen ensimmäinen roolinsa oli Sidney Poitier rinnalla elokuvassa Särkynyt illuusio.
Gossett on esiintynyt lukuisissa elokuvissa, joista kuuluisin on rooli merijalkaväen kersantti Emil Foleyna elokuvassa Upseeri ja herrasmies Richard Geren vastanäyttelijänä.
Gossett on esiintynyt myös televisiossa. Hänen läpimurtonsa olikin osa Fiddlerinä vuoden 1977 minsarjassa Juuret, josta hän voitti myös Emmy-palkinnon http://finnish.imdb.com/name/nm0001283/awards.
Vuonna 1983 Gossett esitti minisarjassa Sadatn Egypti presidentti Anwar Sadatia. Egpytin hallitus, jota on usein kritisoitu afrofobiseksi, vastusti näyttelijänvalintaa ja laittoi sarjan boikottiin.
Gossett on ollut myös vortigauntien äänenä videopelissä Half-Life 2 ja Jaffa-johtajana televisiosarjassa Tähtiportti.