この絵はもともと、1964年1月14日号の『Look』のセンターフォールドとして掲載されたものです。 ロックウェルは、前年に『サタデー・イブニング・ポスト』誌との契約を終了しており、同誌が政治的テーマの表現に制限をかけていることに不満を抱いていたため、ルックは公民権や人種統合など、彼の社会的関心のためのフォーラムを提供したのである。 ロックウェルは『Southern Justice（ミシシッピーの殺人）』や『New Kids in the Neighborhood』で同様のテーマを追求しているが、『ポスト』誌の以前の作品とは異なり、『The Problem We All Live With』などは黒人を観察者、集団シーンの一部、奴隷的役割としてではなく、唯一の主人公として位置づけている。 New Kids in the Neighborhood』と同様に、『The Problem We All Live With』は黒人の子供の主人公を描いており、『Southern Justice』と同様に、その人種的テーマを促進するために強い明暗のコントラストを使用しています。
絵の主題はルビー・ブリッジズに触発されましたが、ロックウェルは地元の少女、リンダ・ガンをモデルとして使い、彼女のいとこのアニタ・ガンもまた使用されています。
作品が出版された後、ロックウェルは「不愉快なメールの袋」を受け取り、ある例では、彼が「白人種の裏切り者」であることを非難しました。