Die Vorgeschichte des Kölner Domes reicht bis in frühchristliche Zeit zurück. 313 n. Chr. wird mit dem hl. Maternus erstmals ein Kölner Bischof erwähnt. Es liegt im Bereich des Wahrscheinlichen – wenn es auch nach heutigem Forschungsstand nicht nachweisbar ist –, dass bereits zu seiner Zeit die Bischofskirche der römischen Stadt im Bereich der heutigen Kathedrale gestanden hat. Das Areal befand sich damals im nordöstlichen Stadtviertel, in unmittelbarer Nähe zur Stadtmauer und zum Nordtor. Es war vorwiegend durch Wohnbebauung geprägt. Vielleicht befand sich die erste Kirche innerhalb eines römischen Wohnhauses, wie dies für andere römische Städte belegt ist.

Archäologisch beweisbar ist, dass sich an der Stelle des heutigen Domes spätestens im 6. Jahrhundert eine große Kirchenanlage befunden hat. Östlich des Domchores hat sich aus dieser Zeit eines der ältesten Zeugnisse des Christentums im Rheinland erhalten: das Taufbecken eines frühmittelalterlichen Baptisteriums. Es gehörte zu einer Kirchenfamilie mit mehreren Sakralbauten, von denen weitere Befunde, wie zum Beispiel merowingische Fürstengräber, eine Amboanlage und Reste einer gemauerten Priesterbank, unter dem Domchor aufgedeckt werden konnten.

Nach mehreren Umbauten entstand an der Stelle dieser frühen Kirchenanlage um 800 eine gewaltige karolingische Kirche, der sogenannte Alte Dom. 873 geweiht, wurde die zunächst dreischiffige Kirche im 10. oder 11. Jahrhundert um zwei Seitenschiffe erweitert. Im Gegensatz zur heutigen Kathedrale besaß der Alte Dom zwei Chöre mit Apsiden. Der Westchor war dem Dompatron, dem Heiligen Petrus, der Ostchor der Gottesmutter Maria geweiht. Im Westen vor dem Dom befand sich ein weitläufiges Atrium. Im Osten war der Dom durch ein zweites Atrium mit der in der Mitte des 11. Jahrhunderts gegründeten und 1817 abgebrochenen Stiftskirche St. Maria ad Gradus verbunden.

Der Alte Dom bestand noch, als Erzbischof Rainald von Dassel 1164 die Gebeine der Heiligen Drei Könige aus Mailand nach Köln übertragen ließ. Er hatte sie von Kaiser Friedrich I. (genannt Barbarossa), als Dank für geleistete Dienste auf dessen Italienfeldzug, erhalten. Zwei Jahre zuvor hatte der Kaiser unter Beteiligung des Erzbischofs, der zugleich einer der mächtigsten Reichsfürsten Deutschlands und Erzkanzler für Italien war, die gegen den Kaiser rebellierende Stadt Mailand eingenommen und dabei die Gebeine der Heiligen an sich gebracht.
Der Erzbischof verstand es geschickt, die in Mailand nahezu unbekannten Reliquien in kurzer Zeit weiten Teilen der Christenheit bekannt zu machen. Durch ihren Besitz wurde der Kölner Dom zu einem der bedeutendsten Pilgerorte Europas. Die Reliquien hatten nicht zuletzt auch für das Deutsche Königtum eine herausragende Bedeutung. So machten die Deutschen Herrscher nach ihrer Königskrönung in Aachen gewöhnlich Station in Köln, um die Gebeine der biblischen Magier − nach mittelalterlicher Vorstellung waren sie die ersten christlichen Könige − zu verehren. Zwischen den 1180er und 1230er Jahren entstand für die wertvollen Reliquien unter maßgeblicher Mitwirkung des Goldschmiedes Nikolaus von Verdun der Dreikönigenschrein, das größte bis heute erhaltene Goldschmiedewerk des hohen Mittelalters in Europa.

Am 15. August 1248 wurde von Erzbischof Konrad von Hochstaden der Grundstein zur heutigen hochgotischen Kathedrale gelegt. Die Architektur des neuen Domes orientierte sich eng an der modernsten französischen Architektur, vor allem an der Kathedrale von Amiens oder der Sainte-Chapelle in Paris. Vom ersten Dombaumeister Kölns weiß man wenig mehr als den Namen: Meister Gerhard. In seiner Größe sollte der neue Kirchenbau die früheren französischen Kathedralen sogar noch übertreffen und ging damit nahe an die Grenzen des damals technisch Möglichen. Die Bauarbeiten begannen mit der Errichtung des Domchores. Als man hierfür die Ostteile des Alten Domes mit Hilfe von Feuer niederlegen wollte, gerieten die Flammen außer Kontrolle, und auch der Westteil des alten Baues brannte zu großen Teilen ab. Im letzten Moment konnte man zumindest den Dreikönigenschrein und das Gerokreuz aus dem bereits raucherfüllten Dom retten. Während im Osten die Fundamente des neuen Chores gelegt wurden, wurde der Westteil des Alten Domes provisorisch wiederhergerichtet, um dort bis zur Chorvollendung die täglichen Gottesdienste und Stundengebete halten zu können.

Am 26. September 1277 wurde durch den in Köln lebenden Dominikaner, Gelehrten und Bischof Albertus Magnus der Altar des Kapitelsaals, später Sakristei, heute Sakramentskapelle des Domes, zu Ehren der hll. Thomas von Canterbury, Maria Magdalena und Gregorius geweiht. Bereits um 1265 dürfte als erster Bauteil der Chorumgang mit den Chorkapellen vollendet gewesen sein. Während im inneren Chor noch reger Baubetrieb herrschte, wurden die Kapellen bereits zu dieser Zeit ausgestattet und an ihren Altären Messen gelesen. Die Gebeine der seligen Irmgardis und einiger bedeutender Kölner Erzbischöfe wurden im Laufe des späten 13. und frühen 14. Jahrhunderts aus dem Alten Dom in die neuen Chorkapellen übertragen und in neue Grabtumben gebettet.

Um 1320 war schließlich auch der Binnenchor vollendet. 1322 wurde er geweiht und der Dreikönigenschrein in feierlicher Prozession in die der Gottesmutter Maria geweihte Achskapelle übertragen. Hier stand er, von wenigen Unterbrechungen abgesehen, bis 1864. Die trotz einzelner schmerzlicher Verluste in bedeutenden Teilen erhaltene Ausstattung des Hochchores ist in ihrem Erhaltungszustand und in ihrer künstlerischen Qualität einzigartig. Unter anderem in Lothringen und Paris geschulte Werkstätten schufen im späten 13. und frühen 14. Jahrhundert die kostbar gefassten, höfisch elegant bewegten Chorpfeilerfiguren von Christus, Maria und den zwölf Aposteln sowie den Hochaltar aus schwarzem Kalkstein mit seinen Statuetten aus Carraramarmor, das Chorgestühl mit seinen überaus reichen, fantasievollen Schnitzereien und die Chorschrankenmalereien. In den Chorobergadenfenstern und in den Chorkapellen haben sich große Teile der mittelalterlichen Glasfenster erhalten. Bald nach der Weihe des Domes dürfte der Bau im Bereich des südlichen Querhauses und der südlichen Seitenschiffe fortgeführt worden sein. Im Westen war der Chor über Jahrhunderte durch eine provisorische Wand von den im Mittelalter unvollendet gebliebenen Bereichen von Quer- und Langhaus getrennt.

Ein Münzfund im oberen Fundamentbereich des Südturmes beweist, dass um 1360 die Fundamentarbeiten am Südturm des Domes kurz vor dem Abschluss standen und bald darauf mit dem Bau des Turmerdgeschosses begonnen werden konnte. Dombaumeister war zu dieser Zeit Michael von Savoyen. Das in seiner Amtszeit errichtete Petersportal ist das einzige im Mittelalter vollendete Portal des Domes. Der Skulpturenschmuck der Archivolten (Bogenlaibungen), der von Bildhauern aus dem Umkreis Heinrich Parlers ausgeführt wurde, wird in die Zeit um 1370/80 datiert.

1448 und 1449 wurden vor Ort die beiden größten aus dem Mittelalter stammenden, bis heute erhaltenen Glocken des Kölner Domes gegossen, die Pretiosa und die Speziosa. Die Glockengussgrube kann in den archäologischen Ausgrabungen unter dem Langhaus des Domes besichtigt werden. Bald nach dem Guss wurden die Glocken im ersten Obergeschoss des Domes aufgehängt. Der Südturm dürfte zu dieser Zeit bereits die Höhe von 56,14 m erreicht haben, die er bis zum Fertigbau des Domes im 19. Jahrhundert behielt. Über dem Turmstumpf stand der mittelalterliche Baukran des Domes, der bis zu seinem Abbruch im Jahr 1868 geradezu das Wahrzeichen der Stadt Köln war.

Nach Einstellung der Bauarbeiten am Südturm wurden in der zweiten Hälfte des 15. Jahrhunderts die Bauarbeiten im Bereich des nördlichen Querhauses, der nördlichen Seitenschiffe und des Nordturmes fortgeführt. Als um 1520 schließlich die Bauarbeiten für mehr als 300 Jahre unterbrochen wurden, glich der Dom in diesen Bereichen einer gewaltigen Bauruine. Lang- und Querhaus waren durch provisorische, nach unten offene Dächer geschlossen, die in den meisten Bereichen unmittelbar oberhalb der Pfeilerkapitelle in 15 Metern Höhe ansetzten. Nur die westlichen Bereiche der nördlichen Seitenschiffe waren bereits eingewölbt. Während der Südturm mit einer Höhe von über 56 m bereits ein gutes Drittel seiner heutigen Höhe erreicht hatte waren die Außenmauern des Nordturmes großteils nur fünf Meter hoch aufgeführt. Nur die Ostwand des Turmes, die zugleich die nördlichen Seitenschiffe abschloss, hatte bereits eine Höhe von über 20 m erreicht.

Eine der dunkelsten Zeiten in der Geschichte des Kölner Domes brach mit der Besetzung des Rheinlandes durch die Truppen der Französischen Revolution 1794 an. 1796 wurde der Dom für den Gottesdienst geschlossen und diente unter anderem als Magazin und Kriegsgefangenenlager. Teile der Bleideckung auf dem Dach des Binnenchores waren bereits zuvor, wie auch einzelne Bronzebildwerke, zur Materialgewinnung eingeschmolzen, hölzerne Wappenschilde in antiklerikalen Festen öffentlich verbrannt worden. Die hölzerne Ausstattung des Langhauses wurde im Winter 1797/98 von Kriegsgefangenen als Brennholz verwendet. 1803 konnte der Dom als Pfarrkirche zwar wieder einer kirchlichen Nutzung zugeführt werden, der Bau zeigte sich aber durch jahrelange Vernachlässigung in einem bedenklichen Zustand. Mit der Wiederbegründung des Erzbistums Köln 1821 wurde der Dom erneut Bischofskirche.

Die Zeit des Niederganges während der Französischen Revolution brachte auch eine Wiederentdeckung mittelalterliche Kunst und Architekt mit sich. Seit dem frühen 19. Jahrhundert war es vor allem der junge Kaufmannssohn Sulpiz Boisserée, der sich für den Kölner Dom begeisterte und bei den politischen und geistigen Größen seiner Zeit erfolgreich für eine Vollendung des Kölner Domes warb. Ihm folgend setzten sich unter anderem Joseph Görres, Johann Wolfgang von Goethe, Joseph von Eichendorff sowie die Architekten Georg Moller und Karl Friedrich Schinkel dafür ein, den Bau des Domes wiederaufzunehmen und die Kathedrale nach einer Baupause von über 300 Jahren zu vollenden. Ab 1823 wurde unter dem Dombauconducteur Friedrich Adolf Ahlert (1823–1833) eine neue Dombauhütte in Köln aufgebaut. Unter der Leitung Ahlerts und seines Nachfolgers Ernst Friedrich Zwirner (1833–1861) war die Dombauhütte bis 1842 zunächst mit der umfassenden Restaurierung des bestehenden Baues beschäftigt. Dies umfasste vor allem die Erneuerung des Chordaches und die Restaurierung der östlichen Querhauswände sowie des Domchores, wobei ein Großteil des Strebewerks erneuert wurde.

1842 legte König Friedrich Wilhelm IV. von Preußen den Grundstein zur Vollendung des Domes. Ihm galt der Bau in erster Linie als deutsches Nationaldenkmal, dessen Vollendung allen Deutschen, unabhängig von ihrer Konfession und ihrer Landeszugehörigkeit, ein Anliegen sein sollte. Die Bauarbeiten unter den Dombaumeistern Ernst Friedrich Zwirner und Richard Voigtel konzentrierten sich zunächst auf die Vollendung von Lang- und Querhaus. Finanziert wurde der Dombau nicht alleine vom König. Bereits im Jahr der Grundsteinlegung 1842 gründeten Kölner Bürger den Zentral-Dombau-Verein, der am Ende 60 Prozent der für die Domvollendung nötigen Gelder aufbrachte. Der Verein existiert noch heute und finanziert nach wie vor zu einem erheblichen Teil die Arbeiten der Kölner Dombauhütte zur Erhaltung des Kölner Wahrzeichens.

Bereits sechs Jahre nach der Grundsteinlegung zur Domvollendung waren alle Seitenschiffe von Lang- und Querhaus eingewölbt und die Mittelschiffe bis über das Triforium hochgezogen. Oberhalb des Triforiums wurde ein nach unten offener Dachstuhl eingezogen, so dass die Bereiche von Lang- und Querhaus trotz der darüber fortlaufenden Arbeiten genutzt werden konnten. Am 15. August wurde im Rahmen eines mehrtägigen Dombaufestes zur 600-Jahrfeier der Grundsteinlegung die Weihe des Dominnenraumes vorgenommen.

1860 wurden die Dachstühle und der Vierungsturm des Domes über den in voller Höhe hochgezogenen Hochschiffwänden von Lang- und Querhaus errichtet. Zu diesem Zeitpunkt fehlten noch die Gewölbe und das Strebewerk. Gegen starke Widerstände zahlreicher Förderer der Domvollendung, die für hölzerne Dachstühle plädierten, wie sie auch über den im Mittelalter vollendeten Bereichen des Domes existierten, ließ Dombaumeister Ernst Friedrich Zwirner 1860 bis 1861 die Dächer und den Turm als Eisenkonstruktionen errichten. Als Argumente für eine solche moderne Konstruktion führte er Kostenersparnis, geringeres Gewicht und niedrigere Brandlast an.

1863 waren Lang- und Querhaus bis auf den Bereich zwischen den Türmen vollendet. Die provisorische Trennmauer, die Jahrhunderte lang den vollendeten Chor vom unvollendeten Bereich getrennt hatte, konnte nun abgebrochen und erstmals nahezu der gesamte Dominnenraum erlebt werden.

Nach der Vollendung von Lang- und Querhaus folgte schließlich ab Mitte der 1860er Jahre die Fertigstellung der Türme. Die Dombauhütte, die zu dieser Zeit mehr als 500 Mitarbeiter beschäftigte, setzte auf modernste Bautechnik, wie z. B. auf Windenwägen, die auf Eisenbahnschienen über die Baustelle fuhren oder auf den Einsatz einer Dampfmaschine. Als der Dom 1880 schließlich vollendet wurde, war er mit den beiden über 157 Meter hohen Türmen das höchste Bauwerk der Welt – dies, obwohl man sich bei deren Errichtung sehr genau an den mittelalterlichen Fassadenplan gehalten hatte, der bereits 600 Jahre zuvor, um 1280/90, entstanden war.

Als 1880 der Kölner Dom offiziell vollendet war, bedeutete dies keinesfalls das Ende aller Arbeiten. Nachbesserungen am Bau, der Abbau der Gerüste und vor allem die Vollendung der Ausstattung zogen sich noch gut 20 Jahre hin. Erwähnenswert ist vor allem der Einbau des gewaltigen Mosaikfußbodens nach Entwürfen von August Essenwein und Fritz Geiges im Chor. Kurz vor seinem Tod im Jahr 1902 erklärte Dombaumeister Richard Voigtel (1861–1902), dass der Dombau nun endgültig abgeschlossen sei. Diese Erklärung erwies sich bereits vier Jahre später als Fehleinschätzung. Nach dem sonntäglichen Hochamt am 20. Mai 1906 stürzte der Flügel einer Engelfigur über dem Hauptportal ab. Nur einem Regenschirm, der den Sturz abbremste, war es zu verdanken, dass niemand verletzt wurde. Dombaumeister Bernhard Hertel (1903–1927) begann daraufhin mit den Restaurierungsarbeiten des Domes. Vor allem wurde unter seiner Leitung und unter seinem Nachfolger Hans Güldenpfennig (1928–1944) bis Ende der 1930er Jahre nahezu das gesamte Chorstrebewerk erneuert.

Im Zweiten Weltkrieg erlitt der Kölner Dom durch 14 schwere Spreng- und über 70 Brandbombentreffer sowie durch Beschuss und auffliegendes Material schwere Schäden: die meisten Gewölbe der Mittelschiffe von Lang- und Querhaus waren eingestürzt, die Orgel und ein Großteil der Fenster des 19. Jahrhunderts zerstört, und am gesamten Bau zeigten sich unzählige größere und kleinere Absprengungen. Bedrohlich für den Dom war insbesondere ein Bombentreffer an einem der Turmpfeiler, der noch während des Krieges provisorisch mit Ziegelsteinen repariert wurde. Glücklicherweise hatte man die mittelalterlichen Fenster und viele bedeutende Ausstattungsstücke des Domes rechtzeitig ausgebaut und teilweise in einem eigenen Kunstbunker unter dem Nordturm eingelagert oder an entlegenen Orten weit außerhalb von Köln ausgelagert. Feste Kunstwerke waren vor Ort durch Sandsäcke und Verschalungen geschützt worden, so dass es keine großen Verluste an mittelalterlichen Kunstwerken im Dom gab.
Unter größten Anstrengungen gelang es der Dombauhütte bis zur 700-Jahrfeier der Grundsteinlegung im Jahr 1948, Chor und Querhaus und bis zum Katholikentag 1956 auch das besonders schwer getroffene Langhaus wiederherzustellen. Noch immer findet man am Bau zahlreiche kleinere Kriegsschäden. Heute gilt das Hauptaugenmerk der Kölner Dombauhütte aber der Restaurierung des durch Verwitterung und Umwelteinflüsse schwer geschädigten Steinwerkes sowie der Konservierung und dem Schutz der wertvollen historischen Fenster.
1996 wurde der Kölner Dom in die Liste der UNESCO Weltkulturerbestätten aufgenommen.