Córdoban vanhassakaupungissa on useita jäänteitä kaupungin asemasta Córdoban kalifaatin pääkaupunkina. Jo Rooman vallannn aikana Córdoba oli Hispania Baetica pääkaupunki.
Kaupungissa on Claudius Marcelluksen rakennuttaman temppelin rauniot, romaanisen sillan rauniot ja muita romaanisia rakennuksia. Islaminuskoiset maurit valloittivat Córdoban vuonna 711. Umaijadien tultua karkotetuksi Damaskoksesta he siirtyivät Córdobaan, josta tuli yksi Euroopan suurimmista kaupungeista. 1020- ja 1030-luvulla Córdoban kalifaatti hajosi yli tusinaan taifa-valtakuntaan, jotka kristityt valloittivat yksi kerrallaan.
Kaupungin tärkein muistomerkki on 700–900-luvuilla rakennettu entinen moskeija, La Mezquita. Se olisi maailman kolmanneksi suurin moskeija, ellei vuonna 1236 kristittyjen noustua valtaan siitä olisi tehty kristillistä kirkkoa, miltä ajalta on myös sen sisäpihalle rakennettu katedraali.
Madinat Al-Zahiran (esp. el alcázar) palatsin rauniot ovat myös tärkeä muistomerkki. Palatsi toimi aikanaan yhtenä inkvisition keskuspaikoista, ja vuonna 1492 sieltä annettiin Kristoffer Kolumbukselle lupa matkustaa 'Intiaan'.
Keskiajalla Córdoba oli merkittävä eurooppalaisen tieteen ja sivistyksen keskus. Kaupungissa toimivat muun muassa oppineet Averroës ja Maimonides. Siellä oli 70 kirjastoa, joista suurimmassa oli yli 40 000 teosta; kahdessa ei-islamilaisen maailman suurimmassa kirjastossa oli tuohon aikaan vain noin 2 000 teosta.
Córdoban vanha kaupunki kuuluu UNESCOn maailmanperintöluetteloon.
