În 1977, odată cu transformarea fostei biblioteci centrale din Chicago în Centrul Cultural Chicago, o bibliotecă centrală temporară pe termen lung a fost deschisă în clădirea Mandel din 425 North Michigan Avenue, iar o mare parte din colecția bibliotecii a fost depozitată. A urmat o dezbatere privind o nouă bibliotecă centrală, care a continuat în cea mai mare parte a anilor 1980, frustrată de lipsa de finanțare. La alegerea sa în 1983, primarul Harold Washington a susținut construirea unei noi biblioteci centrale. După tumultul a patru administrații de primărie într-o perioadă de șapte ani, în cele din urmă, în 1986, în timpul mandatului lui Washington, orașul și Consiliul bibliotecii au ales o locație și au lansat o emisiune de obligațiuni în valoare de 175 de milioane de dolari pentru a furniza fonduri pentru noua clădire, precum și pentru întregul sistem de filiale de bibliotecă din oraș. În 1987, orașul a organizat un concurs de proiectare pentru a decide asupra arhitecturii bibliotecii. Cinci proiecte proeminente au fost alese din coaliții de arhitecți și antreprenori, reprezentând proiecte ale VOA Associates în colaborare cu Arthur Erickson; Hammond, Beeby & Babka; Murphy/Jahn, Lohan Associates și SOM. Lucrările au fost restrânse la doi finaliști: The Chicago Library Team, cu designul sticlos și modern al lui Helmut Jahn, și coaliția SEBUS, al cărei design postmodern realizat de Hammond, Beeby și Babka a preluat elemente din clădirile istorice din apropiere. În special, proiectul lui Jahn ar fi trebuit să se arcuiește peste Van Buren Street în zona care este acum ocupată de Pritzker Park, încorporând o nouă stație supraetajată în Chicago’s Loop. Aceste elemente au fost considerate prea scumpe, împreună cu restul proiectului lui Jahn, astfel că proiectul Hammond, Beeby și Babka a câștigat concursul. Machetele arhitecturale pe care echipele participante le-au creat se află la etajul opt al Harold Washington Library Center, cu excepția celei de la SEBUS, care se află la etajul nouă, la Colecții speciale.
Cu sprijinul lui Harold Washington și al bogatei familii Pritzker din Chicago, s-a pus piatra de temelie la locul ales, la Congress Parkway și State Street, acoperind un întreg bloc. La finalizarea clădirii, în 1991, noul primar, Richard M. Daley, a numit clădirea în onoarea fostului primar Harold Washington, acum decedat, un susținător al lecturii și al educației în rândul locuitorilor din Chicago, precum și un susținător al construirii bibliotecii. Înainte de 1872, Chicago avea în principal biblioteci private. Anglia a răspuns la Marele incendiu din Chicago din 1871 prin donarea a peste 8.000 de cărți orașului, care au devenit fundamentul primei biblioteci publice. Această colecție a fost adăpostită în diverse locații, până la construirea Bibliotecii Centrale în 1891. Biblioteca Harold Washington a fost inaugurată la 7 octombrie 1991. De la finalizare, biblioteca a apărut în Cartea Recordurilor Guinness ca fiind cea mai mare clădire de bibliotecă publică din lume. În 2013, arhitectul și președintele biroului Hammond, Beeby and Babka, Thomas H. Beeby, a câștigat prestigiosul premiu de arhitectură Driehaus pentru acest proiect și pentru alte proiecte.