Obraz ten został pierwotnie opublikowany jako rozkładówka w numerze Look z 14 stycznia 1964 roku. Rockwell zakończył kontrakt z Saturday Evening Post w poprzednim roku z powodu frustracji związanej z ograniczeniami, jakie magazyn nakładał na jego ekspresję tematów politycznych, a Look zaoferował mu forum dla jego zainteresowań społecznych, w tym praw obywatelskich i integracji rasowej. Rockwell eksplorował podobne tematy w Southern Justice (Morderstwo w Mississippi) i New Kids in the Neighborhood; w przeciwieństwie do jego poprzednich prac dla Post, The Problem We All Live With i te inne umieszczają czarnych ludzi jako jedynych protagonistów, a nie jako obserwatorów, część scen grupowych lub w rolach służebnych. Podobnie jak New Kids in the Neighborhood, The Problem We All Live With przedstawia czarnoskórego dziecięcego protagonistę; podobnie jak Southern Justice, wykorzystuje silne kontrasty światło-ciemność, aby pogłębić swój rasowy temat.
Chociaż temat obrazu został zainspirowany przez Ruby Bridges, Rockwell wykorzystał miejscową dziewczynę, Lyndę Gunn, jako modelkę do swojego obrazu; jej kuzynka, Anita Gunn, również została wykorzystana. Jeden z szeryfów został wymodelowany przez Williama Obanheina.
Po opublikowaniu dzieła, Rockwell otrzymał „worki pełnych dezaprobaty listów”, w jednym z nich oskarżono go o bycie „zdrajcą białej rasy”.