Målningen publicerades ursprungligen som en mittfältare i Look den 14 januari 1964. Rockwell hade avslutat sitt kontrakt med Saturday Evening Post året innan på grund av frustration över de begränsningar som tidningen satte för hans uttryck av politiska teman, och Look erbjöd honom ett forum för sina sociala intressen, inklusive medborgerliga rättigheter och rasintegration. Rockwell utforskade liknande teman i Southern Justice (Murder in Mississippi) och New Kids in the Neighborhood; till skillnad från hans tidigare verk för Post placerar The Problem We All Live With och dessa andra svarta människor som ensamma huvudpersoner, i stället för som observatörer, som en del av gruppscener eller i servila roller. Liksom New Kids in the Neighborhood skildrar The Problem We All Live With ett svart barn som huvudperson; liksom Southern Justice använder den starka ljus-mörk-kontraster för att främja sitt rastema.
Men även om motivet för målningen var inspirerat av Ruby Bridges använde Rockwell en lokal flicka, Lynda Gunn, som modell för sin målning; hennes kusin, Anita Gunn, användes också. En av marskalkarna var modellerad av William Obanhein.
Efter att verket publicerades fick Rockwell ”säckar med ogillande post”, varav ett exempel anklagade honom för att vara en ”förrädare mot den vita rasen”.