Kokkonen valmistui 1948 filosofian kandidaatiksi Helsingin yliopistossasta pääaineenaan musiikkitiede ja suoritti pianonsoiton diplomin Sibelius-Akatemia vuonna 1949. Sävellystä hän opiskeli Sibelius-Akatemiassa muun muassa Aarre Merikannon johdolla. Sibelius-Akatemian professoriksi hänet nimettiin vuonna 1959 ja Suomen Akatemiaan 1963.
Kokkonen toimi sävellystyönsä lisäksi monissa musiikki- ja kulttuurialan luottamustehtävissä: mm. Suomen säveltäjien ja Teoston puheenjohtajana. Kokkonen saavutti monien luottamustehtäviensä kautta harvinaisen vaikutusvaltaisen aseman suomalaisessa musiikkielämässä, jopa siinä määrin, että hänestä tehty tv-dokumentti kantaa nimeä 'Musiikin Kekkonen'. Joonas Kokkonen asui Alvar Aallon suunnittelemassa Villa Kokkosessa Järvenpäässä.
Kokkonen sävelsi neljä sinfoniaa, kolme jousikvartettoa ja sellokonserton, mutta hänen kuuluisin teoksensa on Paavo Ruotsalaisen elämästä kertova ja Lauri Kokkosen samannimiseen näytelmään perustuva ooppera Viimeiset kiusaukset, jonka ensiesitys oli vuonna 1975. Se on esitetty yli 500 kertaa ympäri maailman, mm. Metropolitanin oopperassa vuonna 1983.
Oopperan ohella Kokkosen tuotannon ytimen muodostavat neljä sinfoniaa. Kokkosta pidetään yleisesti Suomen kenties merkittävimpänä sinfonikkona Jean Sibeliuksen jälkeen. Hän toimi myös musiikkiarvostelijana ja julkaisi musiikkitieteellisiä tutkielmia.