El cuadro se publicó originalmente como página central en el número del 14 de enero de 1964 de Look. Rockwell había terminado su contrato con el Saturday Evening Post el año anterior debido a su frustración por los límites que la revista imponía a su expresión de temas políticos, y Look le ofreció un foro para sus intereses sociales, incluidos los derechos civiles y la integración racial. Rockwell exploró temas similares en Southern Justice (Asesinato en Mississippi) y New Kids in the Neighborhood; a diferencia de sus anteriores trabajos para el Post, The Problem We All Live With (El problema con el que todos vivimos) y estos otros sitúan a los negros como únicos protagonistas, en lugar de como observadores, parte de escenas de grupo o en papeles serviles. Al igual que New Kids in the Neighborhood, The Problem We All Live With presenta a un niño negro como protagonista; al igual que Southern Justice, utiliza fuertes contrastes de luz y oscuridad para fomentar su tema racial.
Aunque el tema del cuadro se inspiró en Ruby Bridges, Rockwell utilizó a una niña local, Lynda Gunn, como modelo para su cuadro; también se utilizó a su prima, Anita Gunn. Uno de los mariscales fue modelado por William Obanhein.
Tras la publicación de la obra, Rockwell recibió «sacos de correo de desaprobación», uno de los cuales le acusaba de ser un «traidor a la raza blanca».