Con la conversión de la antigua biblioteca central de Chicago en el Centro Cultural de Chicago en 1977, se abrió una biblioteca central temporal de larga duración en el edificio Mandel, en el 425 de North Michigan Avenue, y gran parte de la colección de la biblioteca se almacenó. El debate sobre una nueva biblioteca central continuó durante la mayor parte de la década de 1980, frustrado por la falta de financiación. Tras su elección en 1983, el alcalde Harold Washington apoyó la construcción de una nueva biblioteca central. Tras la agitación de cuatro alcaldías en un periodo de siete años, finalmente, en 1986, durante el mandato de Washington, la ciudad y la Junta de la Biblioteca eligieron una ubicación y lanzaron una emisión de bonos de 175 millones de dólares para proporcionar fondos para el nuevo edificio, así como para todo el sistema de sucursales de la biblioteca de la ciudad. En 1987, la ciudad convocó un concurso de diseño para decidir la arquitectura de la biblioteca. Se eligieron cinco candidaturas destacadas de entre las coaliciones de arquitectos y contratistas, que representaban diseños de VOA Associates en colaboración con Arthur Erickson; Hammond, Beeby & Babka; Murphy/Jahn, Lohan Associates y SOM. Las candidaturas se redujeron a dos finalistas: El equipo de la Biblioteca de Chicago, con el diseño moderno y acristalado de Helmut Jahn, y la coalición SEBUS, cuyo diseño posmoderno de Hammond, Beeby y Babka tomó elementos de los edificios históricos cercanos. En particular, el diseño de Jahn iba a arquear la calle Van Buren en la zona que ahora ocupa el Parque Pritzker, incorporando una nueva estación elevada en el Loop de Chicago. Estos elementos se consideraron demasiado caros, junto con el resto del diseño de Jahn, por lo que el diseño de Hammond, Beeby y Babka ganó el concurso. Las maquetas arquitectónicas que crearon los equipos participantes se encuentran en la octava planta del Centro de la Biblioteca Harold Washington, excepto la del SEBUS, que se encuentra en la novena planta de Colecciones Especiales.
Con el apoyo de Harold Washington y de la acaudalada familia Pritzker de Chicago, se puso la primera piedra en el emplazamiento elegido, en Congress Parkway y State Street, abarcando toda una manzana. Una vez terminado el edificio, en 1991, el nuevo alcalde, Richard M. Daley, lo bautizó con el nombre del ya fallecido ex alcalde Harold Washington, defensor de la lectura y la educación entre los habitantes de Chicago, así como promotor de la construcción de la biblioteca. Antes de 1872, Chicago tenía principalmente bibliotecas privadas. Inglaterra respondió al Gran Incendio de Chicago de 1871 donando más de 8.000 libros a la ciudad, que se convirtieron en la base de la primera biblioteca pública. Esta colección se alojó en diversos lugares, hasta que se construyó la Biblioteca Central en 1891. La Biblioteca Harold Washington se inauguró el 7 de octubre de 1991. Desde su finalización, la biblioteca ha aparecido en el Libro Guinness de los Récords como el edificio de biblioteca pública más grande del mundo. En 2013 el arquitecto y presidente de Hammond, Beeby y Babka, Thomas H. Beeby, ganó el prestigioso Premio de Arquitectura Driehaus por este y otros proyectos.