Johnson oli lähtöisin köyhistä oloista. Hän aloitti työuransa räätälinä. Lukemaan ja kirjoittamaan hän oppi vasta aikuisena, vaimonsa avustuksella. Myöhemmin hän alkoi suuntautua politiikkaan ja saavutti menestystä ajamalla pienyrittäjien etua. Hän toimi vuosina 1853–1857 Tennesseen kuvernöörinä, minkä jälkeen hänet valittiin demokraattisen puolueeninin edustajana Yhdysvaltain senaatti.
1850-luvulla oli Yhdysvalloissa käynnissä kiivas poliittinen väittely orjien asemasta. Pohjoiset osavaltiot (Pohjoisvaltiot) vaativat orjuuden lakkauttamista, kun taas eteläiset osavaltiot (Etelävaltiot) olisivat halunneet jatkaa orjien hyväksikäyttöä. Johnsonin kanta asiaan noudatti etelävaltioiden linjaa, eli hän hyväksyi orjuuden.
Kun orjuutta vastustaneesta Abraham Lincolnista tuli vuonna 1861 Yhdysvaltain presidentti, kärjistyi pohjoisvaltioiden ja etelävaltioiden välinen kiista sisällisodaksi. Etelävaltiot irrottautuivat Yhdysvalloista ja perustivat oman itsenäisen valtion, Konfederaation. Johnson oli tuolloin ainoa etelävaltiolainen senaattori, joka ei siirtynyt Konfederaation palvelukseen vaan jatkoi työtään Yhdysvaltain senaatissa. Näin hän asettui yhtenäistä valtiota kannattaneiden pohjoisvaltioiden puolelle, vaikka olikin orjuuden kannattaja ja tunsi sympatiaa etelävaltioiden kulttuuria kohtaan.
Vuoden 1864 presidentinvaalit käytiin, kun Yhdysvaltain sisällissota oli päättymäisillään pohjoisvaltioiden voittoon. Presidentti Abraham Lincoln halusi pehmentää mainettaan jyrkkänä orjuuden vastustajana, jotta etelävaltiolaisten epäluuloisuus häntä kohtaan lievenisi. Niinpä Lincoln valitsi varapresidenttiehdokkaakseen orjuuteen myönteisesti suhtautuneen Johnsonin. Valinta oli sikäli ainutlaatuinen, että republikaani Lincoln valitsi parikseen demokraatti Johnsonin. Lincoln voitti vaalit ja Johnsonista tuli hänen varapresidenttinsä.
Kun Lincoln murhattiin huhtikuussa 1865, nousi Johnson yllättäen Yhdysvaltain presidentiksi. Hänen tehtäväkseen tuli siten sisällissodan tuhoaman maan jälleenrakentaminen ja sodan jälkeisen katkeruuden lievittäminen. Historioitsijat eivät ole antaneet Johnsonille kovin hyvää arvosanaa noiden tehtävien hoidosta.
Johnson suhtautui voitettuihin etelävaltioihin hyvin lempeästi. Tärkeintä oli hänen mielestään, että Yhdysvaltojen yhtenäisyys oli palautettu. Muutoin elämä saisi etelävaltioissa jatkua suurin piirtein samanlaisena kuin ennenkin. Jos etelässä ei esimerkiksi haluttu antaa äänioikeutta entisille orjille, se oli Johnsonin mielestä heidän oma asiansa, johon ei pitänyt ulkopuolisten sekaantua.
Johnsonin lempeys ei miellyttänyt ns. radikaaleja republikaaneja, joilla oli hallussaan enemmistö kongressissa. Radikaalit republikaanit vaativat etelävaltiolaisilta suurta asennemuutosta ja perusteellisia muutoksia osavaltioiden paikallisiin lakeihin. Seurasi poliittinen taistelu, jossa Johnson yritti jääräpäisesti estää kaikki kongressin yritykset puuttua etelävaltioiden asioihin. Lopulta kongressin ja presidentin välit muuttuivat niin huonoiksi, että kongressi yritti kahdesti päästä presidentistä eroon. Senaatti nosti Johnsonia vastaan syytteen, kun tämä yritti erottaa sotaministerinsä Edwin Stantonin ja korvata hänet Ulysses Grantilla. Vain yksi ääni jäi senaatin äänestyksessä puuttumaan, jotta syyte olisi johtanut presidentin erottamiseen. (Tämä oli ensimmäinen kerta, kun Yhdysvaltojen presidenttiä on yritetty erottaa syytteen avulla. Toinen kerta nähtiin Bill Clintonin presidenttikaudella. Molemmilla kerroilla syytteen taustalla oli enemmän poliittisia kuin juridisia syitä.)
Samaan aikaan kun Johnson painiskeli sisäpoliittisten ongelmiensa kanssa, neuvotteli hänen ulkoministerinsä William Seward Venäjänn kanssa hyvät maakaupat: Yhdysvallat osti vuonna 1867 Alaska. Tosin tuolloin vain harvat ymmärsivät kaupan edullisuuden, koska Alaskaa pidettiin kaukaisena kylmänä erämaana, jolle ei olisi mitään hyötykäyttöä.
Demokraatit eivät nimenneet Johnsonia presidenttiehdokkaakseen vuoden 1868 vaaleihin. Hän teki kuitenkin lyhyen paluun politiikkaan vuonna 1874, kun hänet valittiin senaattiin.
