Med ombyggnaden av Chicagos tidigare centralbibliotek till Chicago Cultural Center 1977, öppnades ett långvarigt tillfälligt centralbibliotek i Mandel Building på 425 North Michigan Avenue och en stor del av bibliotekets samlingar förvarades. En debatt om ett nytt centralbibliotek inleddes och fortsatte under större delen av 1980-talet, frustrerad av bristande finansiering. När borgmästare Harold Washington valdes 1983 stödde han byggandet av ett nytt centralbibliotek. Efter fyra borgmästaradministrationer under en sjuårsperiod valde staden och biblioteksstyrelsen 1986, under Washingtons tid, en plats och genomförde en obligationsemission på 175 miljoner dollar för att finansiera den nya byggnaden och hela det stadsomfattande biblioteksfilialsystemet. År 1987 anordnade staden en designtävling för att bestämma bibliotekets arkitektur. Fem framstående bidrag valdes ut från koalitioner av arkitekter och entreprenörer, som representerade ritningar av VOA Associates i samarbete med Arthur Erickson, Hammond, Beeby & Babka, Murphy/Jahn, Lohan Associates och SOM. Bidragen begränsades till två finalister: The Chicago Library Team med Helmut Jahns glasiga, moderna design och SEBUS-koalitionen, vars postmoderna design av Hammond, Beeby och Babka tog element från närliggande historiska byggnader. Jahns design skulle ha böjt sig över Van Buren Street till det område som nu upptas av Pritzker Park, med en ny upphöjd station i Chicagos Loop. Dessa element ansågs för dyra, tillsammans med resten av Jahns design, så Hammond, Beeby och Babkas design vann tävlingen. De arkitektoniska modeller som de deltagande lagen skapade finns på åttonde våningen i Harold Washington Library Center, med undantag för SEBUS-förslaget, som finns i Special Collections på nionde våningen.
Med stöd av Harold Washington och Chicagos rika Pritzker-familj togs det första spadtaget på den utvalda platsen vid Congress Parkway och State Street, som omfattade ett helt kvarter. När byggnaden stod klar 1991 namngav den nye borgmästaren Richard M. Daley byggnaden till ära för den nu avlidne förre borgmästaren Harold Washington, en förespråkare av läsning och utbildning bland Chicagos invånare samt en förespråkare av bibliotekets uppförande. Före 1872 hade Chicago huvudsakligen privata bibliotek. England reagerade på den stora Chicago-branden 1871 genom att donera över 8 000 böcker till staden, vilket blev grunden till det första offentliga biblioteket. Denna samling förvarades på olika platser tills centralbiblioteket byggdes 1891. Harold Washington-biblioteket öppnade den 7 oktober 1991. Sedan färdigställandet har biblioteket funnits med i Guinness rekordbok som den största offentliga biblioteksbyggnaden i världen. År 2013 vann arkitekten och ordföranden för Hammond, Beeby and Babka, Thomas H. Beeby, det prestigefyllda arkitektpriset Driehaus Architecture Prize för detta och andra projekt.