A kép eredetileg a Look 1964. január 14-i számának címlapján jelent meg. Rockwell az előző évben felbontotta szerződését a Saturday Evening Posttal, mivel frusztrált volt amiatt, hogy a magazin korlátozta a politikai témák kifejezését, a Look pedig fórumot kínált neki társadalmi érdeklődésének, többek között a polgárjogoknak és a faji integrációnak. Rockwell hasonló témákat dolgozott fel a Southern Justice (Gyilkosság Mississippiben) és a New Kids in the Neighborhood (Új kölykök a szomszédságban) című munkáiban; a Postnak írt korábbi munkáival ellentétben a The Problem We All Live With és ezek a többi munkája a feketéket egyedüli főszereplőként helyezi el, nem pedig megfigyelőként, csoportos jelenetek részeként vagy szolgai szerepben. A New Kids in the Neighborhoodhoz hasonlóan a The Problem We All Live With is egy fekete gyermek főszereplőt ábrázol; a Southern Justice-hoz hasonlóan erős világos-sötét kontrasztokat használ a faji téma előmozdítására.
Míg a festmény témáját Ruby Bridges ihlette, Rockwell egy helyi lányt, Lynda Gunnt használta modellként a festményéhez; unokatestvérét, Anita Gunnt is felhasználták. Az egyik marsallt William Obanhein mintázta.
A mű megjelenése után Rockwell “zsákszámra kapta a rosszalló leveleket”, az egyik példában azzal vádolták, hogy “a fehér faj árulója”.