Het schilderij werd oorspronkelijk gepubliceerd als een centerfold in de uitgave van Look van 14 januari 1964. Rockwell had het jaar daarvoor zijn contract met de Saturday Evening Post beëindigd uit frustratie over de beperkingen die het tijdschrift stelde aan zijn uitingen van politieke thema’s, en Look bood hem een forum voor zijn sociale interesses, waaronder burgerrechten en raciale integratie. Rockwell verkende soortgelijke thema’s in Southern Justice (Murder in Mississippi) en New Kids in the Neighborhood; in tegenstelling tot zijn eerdere werken voor de Post, plaatsen The Problem We All Live With en deze andere werken zwarte mensen als enige hoofdrolspelers, in plaats van als toeschouwers, als deel van groepstaferelen, of in dienende rollen. Net als New Kids in the Neighborhood toont The Problem We All Live With een zwart kind als hoofdpersoon; net als Southern Justice maakt het gebruik van sterke licht-donker contrasten om het raciale thema te bevorderen.
Hoewel het onderwerp van het schilderij was geïnspireerd door Ruby Bridges, gebruikte Rockwell een plaatselijk meisje, Lynda Gunn, als model voor zijn schilderij; ook haar nichtje, Anita Gunn, werd gebruikt. Een van de marshals stond model voor William Obanhein.
Nadat het werk was gepubliceerd, ontving Rockwell “zakken vol met afkeurende post”, een voorbeeld beschuldigde hem ervan een “verrader van het blanke ras” te zijn.