Das Gemälde wurde ursprünglich in der Ausgabe von Look vom 14. Januar 1964 in der Mitte der Titelseite veröffentlicht. Rockwell hatte im Jahr zuvor seinen Vertrag mit der Saturday Evening Post gekündigt, weil er mit den Beschränkungen, die das Magazin seinen politischen Themen auferlegte, unzufrieden war, und Look bot ihm ein Forum für seine sozialen Interessen, darunter Bürgerrechte und Rassenintegration. Rockwell setzte sich in Southern Justice (Murder in Mississippi) und New Kids in the Neighborhood mit ähnlichen Themen auseinander; im Gegensatz zu seinen früheren Arbeiten für die Post treten in The Problem We All Live With und diesen anderen Bildern Schwarze als alleinige Protagonisten auf, statt als Beobachter, Teil von Gruppenszenen oder in unterwürfigen Rollen. Wie New Kids in the Neighborhood zeigt The Problem We All Live With eine schwarze kindliche Hauptfigur; wie Southern Justice verwendet es starke Hell-Dunkel-Kontraste, um sein Rassenthema zu unterstreichen.
Während das Thema des Gemäldes von Ruby Bridges inspiriert wurde, verwendete Rockwell ein Mädchen aus der Gegend, Lynda Gunn, als Modell für sein Gemälde; auch ihre Cousine, Anita Gunn, wurde verwendet. Einer der Marshals wurde von William Obanhein modelliert.
Nach der Veröffentlichung des Werks erhielt Rockwell „säckeweise missbilligende Post“, in der ihm beispielsweise vorgeworfen wurde, ein „Verräter an der weißen Rasse“ zu sein.