Mit der Umwandlung von Chicagos ehemaliger Zentralbibliothek in das Chicago Cultural Center im Jahr 1977 wurde im Mandel-Gebäude an der 425 North Michigan Avenue eine langfristige provisorische Zentralbibliothek eröffnet und ein Großteil der Bibliothekssammlung eingelagert. Die Debatte über eine neue Zentralbibliothek zog sich durch den größten Teil der 1980er Jahre und wurde durch den Mangel an finanziellen Mitteln behindert. Nach seiner Wahl im Jahr 1983 unterstützte Bürgermeister Harold Washington den Bau einer neuen Zentralbibliothek. Nach den Turbulenzen von vier Bürgermeisterämtern innerhalb von sieben Jahren entschieden sich die Stadt und der Bibliotheksrat schließlich 1986 während Washingtons Amtszeit für einen Standort und gaben eine Anleihe in Höhe von 175 Millionen Dollar heraus, um das neue Gebäude sowie das gesamte stadtweite Bibliotheksfilialsystem zu finanzieren. 1987 schrieb die Stadt einen Wettbewerb aus, um über die Architektur der Bibliothek zu entscheiden. Fünf prominente Beiträge wurden von Architekten und Bauunternehmern ausgewählt, darunter Entwürfe von VOA Associates in Zusammenarbeit mit Arthur Erickson, Hammond, Beeby & Babka, Murphy/Jahn, Lohan Associates und SOM. Die Beiträge wurden auf zwei Finalisten reduziert: Das Chicago Library Team mit dem gläsernen, modernen Entwurf von Helmut Jahn und die SEBUS-Koalition, deren postmoderner Entwurf von Hammond, Beeby und Babka Elemente von nahe gelegenen historischen Gebäuden aufgriff. Jahns Entwurf hätte einen Bogen über die Van Buren Street auf das Gelände des heutigen Pritzker Parks geschlagen und eine neue Hochbahnstation auf dem Chicagoer Loop integriert. Diese Elemente wurden ebenso wie der Rest von Jahns Entwurf als zu teuer erachtet, so dass der Entwurf von Hammond, Beeby und Babka den Wettbewerb gewann. Die architektonischen Modelle der Wettbewerbsteilnehmer befinden sich im achten Stock des Harold Washington Library Center, mit Ausnahme des SEBUS-Entwurfs, der in der neunten Etage der Special Collections untergebracht ist.
Mit der Unterstützung von Harold Washington und Chicagos wohlhabender Pritzker-Familie wurde der erste Spatenstich für den ausgewählten Standort an der Kreuzung Congress Parkway und State Street gesetzt, der einen ganzen Block umfasst. Nach der Fertigstellung des Gebäudes im Jahr 1991 benannte der neue Bürgermeister Richard M. Daley das Gebäude zu Ehren des inzwischen verstorbenen ehemaligen Bürgermeisters Harold Washington, der sich für das Lesen und die Bildung der Chicagoer Bevölkerung einsetzte und auch den Bau der Bibliothek befürwortete. Vor 1872 gab es in Chicago hauptsächlich private Bibliotheken. Als Reaktion auf den großen Brand von 1871 spendete England der Stadt über 8.000 Bücher, die den Grundstock der ersten öffentlichen Bibliothek bildeten. Diese Sammlung wurde an verschiedenen Orten untergebracht, bis 1891 die Zentralbibliothek gebaut wurde. Die Harold Washington Library wurde am 7. Oktober 1991 eröffnet. Seit ihrer Fertigstellung steht die Bibliothek im Guinness-Buch der Rekorde als das größte öffentliche Bibliotheksgebäude der Welt. Im Jahr 2013 erhielt der Architekt und Vorsitzende von Hammond, Beeby und Babka, Thomas H. Beeby, für dieses und andere Projekte den renommierten Driehaus-Architekturpreis.