Kempff syntyi Jüterbogissa ja opiskeli Berliiniissassä ja Potsdam. Hän esiintyi laajalti Euroopassa ja myös sen ulkopuolella, kuten useaan otteeseen Japanissassa. Lontoo hän esiintyi ensimmäistä kertaa vuonna 1951 ja New Yorkissa 1964.
Kempff antoi viimeisen julkisen esiintymisensä Pariisissa vuonna 1981ssa. Hän kuoli Positano, Italiassa 95-vuotiaana.
Kempff tuli tunnetuksi mm. Beethovenin, Schumannin, Brahmsin, Schubertin, W. A. Mozartin, J. S. Bachin, Lisztin ja Chopininaa tulkinnoistaan. Hän esitti myös kamarimusiikki ja sävelsi.