Yhtyeen nimi oli alun perin Thundercross, perustajajäseninä Luca Turilli ja Alex Staropoli. Nimi vaihtui myöhemmin Rhapsodyksi, koska vanha nimi ei enää kuvastanut Turillin sinfonista, keskiaikaista äänimaailmaa. Kuten Staropoli sanoi haastattelussaan: 'Elokuvissa käytetään kaikenlaista musiikkia, metallista klassiseen musiikkiin, nopeista kappaleista hitaisiin. Päätimme kutsua musiikkiamme sinfoniseksi, eeppiseksi Hollywood-metalliksi, koska myös Rhapsodyn musiikissa on monenlaisia vaikutteita.'
Ennen ensimmäisen levyn Legendary Talesin, levytystä yhtyeeseen liittyi Labyrinthissä laulanut Fabio Lione, ja kolmannelta levyltä lähtien mukana on ollut saksalaisessa Sieges Even -kokoonpanossa soittanut rumpali Alex Holzwarth. Kiertueilla Rhapsodyssä soittavat basisti Patrice Guersn, joka korvasi yhtyeen pitkäaikaisen basistin Alessandro Lotta, sekä kakkoskitaristi Dominique Leurquin.
Viidellä studiolevyllään Rhapsody on kertonut faneilleen keskiaikaisen fantasiatarinan, Emerald sword sagan. Saagan jokainen kappale johdattelee eteenpäin tarinaa, joka sai päätöksensä Power of the Dragonflame -levyllä 2002. Syksyllä 2004 Rhapsody julkaisi eeppisen albumin, Symphony of Echanted Lands II - The Dark Secret, jonka kertojana kuultiin arvostettu näyttelijä Christopher Lee. Keväällä yhtye jatkoi yhteistyötä Leen kanssa ja levytti The Magic of the Wizards Dream -singlen.
Rhapsody joutui heinäkuussa 2006 vaihtamaan nimensä tekijänoikeudellisista syistä muotoon Rhapsody of Fire. Yhtyeen mukaan tämä kuvastaa heidän musiikkinsa uutta aikakautta. 25. syyskuuta 2006 yhtye julkaisi Euroopassa uuden albuminsa Triumph or Agony.