S přestavbou bývalé ústřední knihovny Chicaga na Chicagské kulturní centrum v roce 1977, byla v Mandelově budově na adrese 425 North Michigan Avenue otevřena dlouhodobá dočasná ústřední knihovna a velká část knihovního fondu byla uložena do skladu. Následovala debata o nové ústřední knihovně, která pokračovala po většinu 80. let 20. století a byla zmařena nedostatkem finančních prostředků. Po svém zvolení v roce 1983 podpořil starosta Harold Washington výstavbu nové ústřední knihovny. Po zmatcích čtyř starostenských administrativ v průběhu sedmi let nakonec v roce 1986 za Washingtonova působení město a knihovní rada vybraly místo a vydaly emisi dluhopisů v hodnotě 175 milionů dolarů, aby zajistily prostředky na novou budovu i na celý systém celoměstských poboček knihovny. V roce 1987 uspořádalo město soutěž o návrh, která měla rozhodnout o architektuře knihovny. Z koalic architektů a dodavatelů bylo vybráno pět významných návrhů, které představovaly návrhy společností VOA Associates ve spolupráci s Arthurem Ericksonem; Hammond, Beeby & Babka; Murphy/Jahn, Lohan Associates a SOM. Soutěžní návrhy byly zúženy na dva finalisty: Tým Chicagské knihovny s proskleným, moderním designem Helmuta Jahna a koalice SEBUS, jejíž postmoderní návrh od Hammonda, Beebyho a Babky převzal prvky z okolních historických budov. Pozoruhodné je, že Jahnův návrh se měl klenout přes Van Buren Street do oblasti, kde se nyní nachází Pritzkerův park, a měl zahrnovat novou nadzemní stanici na chicagské smyčce. Tyto prvky byly spolu se zbytkem Jahnova návrhu považovány za příliš nákladné, a tak v soutěži zvítězil návrh společnosti Hammond, Beeby a Babka. Architektonické modely, které soutěžní týmy vytvořily, jsou umístěny v osmém patře Knihovnického centra Harolda Washingtona, s výjimkou návrhu SEBUS, který je umístěn ve speciálních sbírkách v devátém patře.
S podporou Harolda Washingtona a bohaté chicagské rodiny Pritzkerů byl na vybraném místě u Congress Parkway a State Street, které zabírá celý blok, položen základ. Po dokončení stavby v roce 1991 pojmenoval nový starosta Richard M. Daley budovu na počest dnes již zesnulého bývalého starosty Harolda Washingtona, který byl zastáncem četby a vzdělání mezi obyvateli Chicaga a zároveň se zasadil o výstavbu knihovny. Před rokem 1872 byly v Chicagu převážně soukromé knihovny. Na velký požár Chicaga v roce 1871 reagovala Anglie darováním více než 8 000 knih městu, které se staly základem první veřejné knihovny. Tato sbírka byla umístěna na různých místech, dokud nebyla v roce 1891 postavena Ústřední knihovna. Knihovna Harolda Washingtona byla otevřena 7. října 1991. Od svého dokončení se knihovna objevila v Guinnessově knize rekordů jako největší budova veřejné knihovny na světě. V roce 2013 získal architekt a předseda společnosti Hammond, Beeby a Babka Thomas H. Beeby za tento a další projekty prestižní Driehausovu cenu za architekturu.