Adam syntyi Kirkcaldyssä, Fifessä arkkitehti William Adamin pojaksi. Myös hänen veljensä James ja John Adam nousivat kohtalaiseen maineeseen, mutta ovat pitkällä tähtäimellä jääneet Robert Adamin varjoon.
Adam valittiin Royal Society of Artsin jäseneksi vuonna 1758ssa. Hän kuoli äkillisesti kotonaan Lontoo 63-vuotiaana.
