La peinture a été publiée à l’origine en tant que page centrale dans le numéro de Look du 14 janvier 1964. Rockwell avait mis fin à son contrat avec le Saturday Evening Post l’année précédente en raison de sa frustration face aux limites que le magazine imposait à son expression des thèmes politiques, et Look lui offrait un forum pour ses intérêts sociaux, notamment les droits civiques et l’intégration raciale. Rockwell explore des thèmes similaires dans Southern Justice (Murder in Mississippi) et New Kids in the Neighborhood ; à la différence de ses œuvres précédentes pour le Post, The Problem We All Live With et ces autres œuvres placent les Noirs en tant que protagonistes uniques, au lieu d’être des observateurs, de faire partie de scènes de groupe ou de jouer des rôles serviles. Comme New Kids in the Neighborhood, The Problem We All Live With met en scène un enfant noir protagoniste ; comme Southern Justice, il utilise de forts contrastes clair-obscur pour approfondir son thème racial.
Bien que le sujet du tableau ait été inspiré par Ruby Bridges, Rockwell a utilisé une fille de la région, Lynda Gunn, comme modèle pour sa peinture ; sa cousine, Anita Gunn, a également été utilisée. L’un des marshals a été modelé par William Obanhein.
Après la publication de l’œuvre, Rockwell a reçu « des sacs de courrier désapprobateur », un exemple l’accusant d’être un « traître à la race blanche ».
La peinture a été publiée dans le cadre de l’exposition de l’artiste.