Brown opiskeli taidetta vuosina 1837–1839 Bruggessa ja Antwerpenissa. Hänen varhaistyönsä olivat romanttisia ja dramaattisia. Hän alkoi kuitenkin pian pyrkiä mahdollisimman luonnonmukaiseen esitystyyliin, ja maalaustaan Prisoner of Chillon varten hän kävi piirtämässä ruumiita sairaalan ruumishuoneella. Hän myös maalasi mielellään ulkoilmassa ateljeen sijaan.
Vuonna 1845 Brown tapasi Italiassa nazareeneihin kuuluneen Peter von Corneliuksenaa. Tapaamisella oli suuri vaikutus Brownin värienkäyttöön ja tyyliin. Brown opetti lyhyen aikaa Dante Gabriel Rossetti, ja vuonna 1850 hän osallistui prerafaeliittien lehden Germin tekoon. Brown toimi myös joidenkin William Morrisin painamien kirjojen kuvittajana sekä teki lasimaalauksia.
