Jermolov astui armeijan palvelukseen vuonna 1791. Vuodet 1798–1801 hän joutui viettämään maanpaossa Kostromassa liian vapaamielisten näkemystensä vuoksi. Jermolov kunnostautui Napoleonin sodissann. Tämän jälkeen hän johti Kaukasia valloitusta.
Jermolov joutui eroamaan tehtävistään 1827 epäiltynä yhteyksistään dekabristikapinaissaan. Viimeiset 30 elinvuottaan hän vietti huvilallaan Orjol.
