With the conversion of Chicago’s former central library into the Chicago Cultural Center in 1977, uma biblioteca central temporária de longo prazo foi aberta no Edifício Mandel, na Av. 425 North Michigan e grande parte do acervo da biblioteca foi armazenada. Um debate sobre uma nova biblioteca central se seguiu e continuou durante a maior parte da década de 1980, frustrado pela falta de financiamento. Após sua eleição em 1983, o prefeito Harold Washington apoiou a construção de uma nova biblioteca central. Após a turbulência de quatro administrações prefeituras em um período de sete anos, finalmente, em 1986, durante o mandato de Washington, a cidade e a Diretoria da Biblioteca escolheram um local e lançaram uma emissão de títulos no valor de 175 milhões de dólares para fornecer fundos para o novo prédio, bem como para todo o sistema de filiais da biblioteca em toda a cidade. Em 1987, foi realizado um concurso de design pela cidade para decidir sobre a arquitetura da biblioteca. Cinco trabalhos de destaque foram escolhidos a partir de coalizões de projetos de arquitetos e empreiteiros, representando projetos da VOA Associates em colaboração com Arthur Erickson; Hammond, Beeby & Babka; Murphy/Jahn, Lohan Associates, e SOM. Os trabalhos foram reduzidos a dois finalistas: A equipe da Biblioteca de Chicago com Helmut Jahn, de design moderno, e a coalizão SEBUS, cujo design pós-moderno de Hammond, Beeby e Babka levou elementos de edifícios históricos próximos. O design de Jahn foi projetado para ter arcada sobre a Van Buren Street para a área agora ocupada pelo Pritzker Park, incorporando uma nova estação elevada no Loop de Chicago. Estes elementos foram considerados demasiado caros, juntamente com o resto do design de Jahn, pelo que o design de Hammond, Beeby e Babka venceu a competição. Os modelos arquitetônicos que as equipes participantes criaram estão localizados no oitavo andar do Harold Washington Library Center, exceto a entrada SEBUS, que está localizada no nono andar Special Collections.
Com o apoio da rica família Harold Washington e Chicago Pritzker, o chão foi quebrado no local escolhido no Congress Parkway e State Street, cobrindo um quarteirão inteiro. Após a conclusão do edifício em 1991, o novo prefeito, Richard M. Daley, nomeou o edifício em homenagem ao agora falecido ex-prefeito Harold Washington, um defensor da leitura e da educação entre os habitantes de Chicago, bem como um defensor da construção da biblioteca. Antes de 1872, Chicago tinha principalmente bibliotecas privadas. A Inglaterra respondeu ao Grande Incêndio de Chicago de 1871 doando mais de 8.000 livros para a cidade, que se tornou a fundação da primeira biblioteca pública. Esta coleção foi alojada em vários locais, até que a Biblioteca Central foi construída em 1891. A Biblioteca Harold Washington foi inaugurada em 7 de outubro de 1991. Desde a sua conclusão, a biblioteca apareceu no Guinness Book of Records como o maior edifício de biblioteca pública do mundo. Em 2013 o arquiteto e presidente da Hammond, Beeby e Babka, Thomas H. Beeby, ganhou o prestigioso Prêmio Driehaus de Arquitetura por este e outros projetos.