Przy przekształceniu dawnej biblioteki centralnej Chicago w Chicagowskie Centrum Kulturalne w 1977r, w budynku Mandel Building przy 425 North Michigan Avenue otwarto tymczasową bibliotekę centralną, a duża część zbiorów biblioteki została umieszczona w magazynie. Debata na temat nowej biblioteki centralnej trwała przez większość lat osiemdziesiątych, sfrustrowana brakiem funduszy. Po wyborze na urząd burmistrza w 1983 roku, Harold Washington poparł budowę nowej biblioteki centralnej. Po zawirowaniach związanych z czterema administracjami burmistrzowskimi w ciągu siedmiu lat, w końcu, w 1986 roku, za kadencji Washingtona, miasto i Rada Biblioteczna wybrały lokalizację i przeprowadziły emisję obligacji o wartości 175 milionów dolarów, które miały zapewnić fundusze na nowy budynek, jak również na cały system filii bibliotecznych w mieście. W 1987 r. miasto zorganizowało konkurs na projekt architektoniczny biblioteki. Z koalicji architektów i wykonawców wybrano pięć wyróżniających się prac, reprezentujących projekty: VOA Associates we współpracy z Arthurem Ericksonem; Hammond, Beeby & Babka; Murphy/Jahn, Lohan Associates i SOM. Prace konkursowe zostały zawężone do dwóch finalistów: Chicago Library Team z przeszklonym, nowoczesnym projektem Helmuta Jahna oraz koalicji SEBUS, której postmodernistyczny projekt autorstwa Hammuta, Beeby’ego i Babki czerpał elementy z pobliskich zabytkowych budynków. W szczególności projekt Jahna miał tworzyć łuk nad Van Buren Street na terenie, który obecnie zajmuje Pritzker Park, włączając w to nową podwyższoną stację na chicagowskiej Loop. Te elementy, podobnie jak reszta projektu Jahna, zostały uznane za zbyt kosztowne, więc konkurs wygrał projekt Hammond, Beeby i Babka. Modele architektoniczne stworzone przez zespoły biorące udział w konkursie znajdują się na ósmym piętrze Centrum Bibliotecznego Harolda Washingtona, z wyjątkiem projektu SEBUS, który znajduje się na dziewiątym piętrze Zbiorów Specjalnych.
Dzięki wsparciu Harolda Washingtona i bogatej chicagowskiej rodziny Pritzkerów, w wybranym miejscu przy Congress Parkway i State Street rozpoczęto prace ziemne, które objęły całą przecznicę. Po ukończeniu budowy w 1991 roku, nowy burmistrz, Richard M. Daley, nazwał budynek na cześć nieżyjącego już byłego burmistrza Harolda Washingtona, zwolennika czytelnictwa i edukacji wśród chicagowian, a także orędownika budowy biblioteki. Przed rokiem 1872, Chicago posiadało głównie biblioteki prywatne. Anglia odpowiedziała na Wielki Pożar Chicago w 1871 roku, ofiarowując miastu ponad 8000 książek, które stały się podstawą pierwszej biblioteki publicznej. Zbiory te były przechowywane w różnych miejscach, aż do momentu wybudowania Biblioteki Centralnej w 1891 roku. Biblioteka Harolda Washingtona została otwarta 7 października 1991 roku. Od momentu ukończenia, biblioteka pojawiła się w Księdze Rekordów Guinnessa jako największy budynek biblioteki publicznej na świecie. W 2013 roku architekt i prezes firmy Hammond, Beeby and Babka, Thomas H. Beeby, zdobył prestiżową nagrodę Driehaus Architecture Prize za ten i inne projekty.