Met de ombouw van de voormalige centrale bibliotheek van Chicago tot het Chicago Cultural Center in 1977, werd een tijdelijke centrale bibliotheek geopend in het Mandel Building op 425 North Michigan Avenue en werd een groot deel van de collectie van de bibliotheek opgeslagen. Een debat over een nieuwe centrale bibliotheek volgde en ging door gedurende het grootste deel van de jaren 1980, gefrustreerd door een gebrek aan financiering. Na zijn verkiezing in 1983 steunde burgemeester Harold Washington de bouw van een nieuwe centrale bibliotheek. Na het tumult van vier burgemeestersbesturen in zeven jaar tijd, kozen de stad en de bibliotheekraad in 1986, tijdens Washingtons ambtstermijn, eindelijk een locatie en schreven ze een obligatie uit ter waarde van 175 miljoen dollar om het nieuwe gebouw en het hele bibliotheeksysteem in de stad te financieren. In 1987 werd door de stad een ontwerpwedstrijd uitgeschreven om de architectuur van de bibliotheek te bepalen. Uit een coalitie van architecten en aannemers werden vijf prominente inzendingen gekozen, waaronder ontwerpen van VOA Associates in samenwerking met Arthur Erickson; Hammond, Beeby & Babka; Murphy/Jahn, Lohan Associates, en SOM. De inzendingen werden gereduceerd tot twee finalisten: Het Chicago Library Team met Helmut Jahn’s glasachtige, moderne ontwerp, en de SEBUS coalitie, waarvan het postmoderne ontwerp van Hammond, Beeby en Babka elementen van nabijgelegen historische gebouwen heeft overgenomen. Jahn’s ontwerp had een boog moeten maken over Van Buren Street naar het gebied dat nu ingenomen wordt door Pritzker Park, en een nieuw verhoogd station moeten integreren in Chicago’s Loop. Deze elementen en de rest van Jahn’s ontwerp werden te duur bevonden, zodat het ontwerp van Hammond, Beeby en Babka de wedstrijd won. De architectonische modellen die de deelnemende teams hebben gemaakt, bevinden zich op de achtste verdieping van de Harold Washington Library Center, met uitzondering van het SEBUS-ontwerp, dat zich op de negende verdieping van de Special Collections bevindt.
Met de steun van Harold Washington en de rijke Pritzker-familie van Chicago werd de grond in geboord op de gekozen locatie aan Congress Parkway en State Street, die een heel huizenblok besloeg. Bij de voltooiing van het gebouw in 1991 noemde de nieuwe burgemeester, Richard M. Daley, het gebouw ter ere van de inmiddels overleden oud-burgemeester Harold Washington, een voorstander van lezen en onderwijs onder de Chicago’s en een pleitbezorger van de bouw van de bibliotheek. Vóór 1872 had Chicago voornamelijk particuliere bibliotheken. Engeland reageerde op de Grote Brand van Chicago van 1871 door meer dan 8.000 boeken aan de stad te schenken, die de basis vormden van de eerste openbare bibliotheek. Deze collectie werd op verschillende plaatsen ondergebracht, tot in 1891 de Centrale Bibliotheek werd gebouwd. De Harold Washington Library werd geopend op 7 oktober 1991. Sinds de oplevering staat de bibliotheek in het Guinness Book of Records als het grootste openbare bibliotheekgebouw ter wereld. In 2013 won de architect en voorzitter van Hammond, Beeby en Babka, Thomas H. Beeby, de prestigieuze Driehaus Architectuurprijs voor dit en andere projecten.