A Chicago egykori központi könyvtárának 1977-es átalakításával a Chicagói Kulturális Központ lett, egy hosszú távú ideiglenes központi könyvtárat nyitottak a 425 North Michigan Avenue-n található Mandel Buildingben, és a könyvtár gyűjteményének nagy részét raktárba helyezték. Az új központi könyvtárról vita alakult ki, amely az 1980-as évek nagy részében folytatódott, és a finanszírozás hiánya miatt meghiúsult. Harold Washington polgármester 1983-as megválasztása után támogatta egy új központi könyvtár építését. Hét év alatt négy polgármesteri ciklus zűrzavara után végül 1986-ban, Washington hivatali ideje alatt a város és a Könyvtári Tanács kiválasztotta a helyszínt, és 175 millió dolláros kötvénykibocsátást hajtott végre, hogy forrást biztosítson az új épülethez, valamint a teljes városi könyvtári fiókrendszerhez. 1987-ben a város tervpályázatot hirdetett a könyvtár építészeti kialakításának eldöntésére. Öt kiemelkedő pályázatot választottak ki az építészek és vállalkozók tervező-építő koalíciói közül, amelyek a VOA Associates Arthur Ericksonnal együttműködve; Hammond, Beeby & Babka; Murphy/Jahn, Lohan Associates és SOM terveit képviselték. A pályázatokat két döntősre szűkítették: A Chicago Library Team Helmut Jahn üveges, modern tervével, és a SEBUS koalíció, amelynek Hammond, Beeby és Babka posztmodern terve a közeli történelmi épületek elemeit vette át. Figyelemre méltó, hogy Jahn tervének a Van Buren Street fölött kellett volna ívelnie arra a területre, amelyet ma a Pritzker Park foglal el, és egy új magaslati állomást kellett volna építenie a Chicago Loop-on. Ezeket az elemeket Jahn többi tervével együtt túl drágának ítélték, így a Hammond, Beeby és Babka terv nyerte meg a versenyt. A pályázó csapatok által készített építészeti makettek a Harold Washington Könyvtárközpont nyolcadik emeletén találhatók, kivéve a SEBUS pályaművet, amely a kilencedik emeleti Különleges gyűjteményekben található.
A Harold Washington és a gazdag chicagói Pritzker család támogatásával a kiválasztott helyszínen, a Congress Parkway és a State Street sarkán egy egész háztömböt lefedő területen megtörtént a tereprendezés. Az épület 1991-es befejezésekor az új polgármester, Richard M. Daley az épületet az időközben elhunyt Harold Washington korábbi polgármester tiszteletére nevezte el, aki a chicagóiak körében az olvasás és az oktatás szószólója, valamint a könyvtár megépítésének támogatója volt. 1872 előtt Chicagóban főként magánkönyvtárak működtek. Anglia az 1871-es nagy chicagói tűzvészre reagálva több mint 8000 könyvet adományozott a városnak, ami az első nyilvános könyvtár alapja lett. Ezt a gyűjteményt különböző helyszíneken helyezték el, amíg 1891-ben meg nem épült a Központi Könyvtár. A Harold Washington Könyvtár 1991. október 7-én nyílt meg. Elkészülte óta a könyvtár bekerült a Guinness Rekordok Könyvébe, mint a világ legnagyobb nyilvános könyvtári épülete. A Hammond, Beeby and Babka építész és elnöke, Thomas H. Beeby 2013-ban ezért és más projektekért elnyerte a rangos Driehaus építészeti díjat.