Krohn opiskeli Helsingin yliopistossa ja keräsi jo opiskeluvuosinaan kansansävelmiä. Hän kiinnostui erityisesti hengellisistä sävelmistä ja käsitteli niitä väitöskirjassaan Über die Art und Entstehung der geistlichen Volksmelodien in Finnland (1899). Häntä voidaan pitää Suomen musiikkitieteen perustajana, sillä hän toimi vuodesta 1900 alkaen yliopiston ensimmäisenä musiikkitieteen opettajana ja hän hoiti oppiaineen ylimääräistä professuuria vuosina 1918–1935. Hän opetti myös Filharmonisen Seuran orkesterikoulussa ja Helsingin musiikkiopistossa. Kirkkomuusikkona hän toimi Tampereella Aleksanterinkirkossa (1894–1905) ja Helsingissä Kallion kirkossa (1911–1944). Hän sävelsi hengellistä musiikkia, kuten oratorionita, sekä ooppera Tuhotulva (1917).
Krohn oli tuottelias tutkija, ja hän käsitteli hengellisen musiikin lisäksi mm. Richard Wagnerin, Anton Brucknerin ja Jean Sibeliuksen tuotantoa. Hän kehitti kattavan musiikinteorian, joka käsitti rytmi-, sävel-, sointu-, kontrapunkti- ja muoto-opin. Hän toimi myös musiikkiarvostelijana.
Ilmari Krohnin 1. puoliso oli Emilie von Dittmann ja 2. puoliso kirjailija Hilja Haahti.
Teoksia
- Über die Art und Entstehung der geistlichen Volksmelodien in Finnland. Väitöskirja. Tammerfors. 1899.
- Sävelten alalta: kirjoituksia ja mietelmiä. Otava, Helsinki. 1899.
- Rytmioppijakso lukkari- ja urkurikouluja varten. WSOY, Helsinki. 1907.
- Musiikin teorian oppijakso I: Rytmioppi. WSOY, Helsinki. 1911–1914.
- Musiikin teorian oppijakso II: Säveloppi (melodiikka). WSOY, Helsinki. 1916.
- Musiikin teorian oppijakso III: Harmoniaoppi. WSOY, Helsinki. 1923.
- Musiikin teorian oppijakso IV: Polyfoniaoppi. WSOY, Helsinki. 1927.
- Musiikin teorian oppijakso V: Muoto-oppi. WSOY, Helsinki. 1937.
- Liturgisen säveltyylin opas. WSOY, Helsinki. 1940.
- Der Formenbau in den Symphonien von Jean Sibelius. Suomalainen tiedeakatemia, Helsinki. 1942.
- Der Stimmungsgehalt der Symphonien von Jean Sibelius 1–2. Suomalainen tiedeakatemia, Helsinki. 1945–1946.
- Sävelmuistoja elämäni varrelta. WSOY, Helsinki. 1951.
- Anton Bruckners Symphonien: Untersuchung über Formenbau und Stimmungsgehalt 1–3. Suomalainen tiedeakatemia, Helsinki. 1955–1959.
