A pintura foi originalmente publicada como uma dobra central na edição de 14 de janeiro de 1964 da Look. Rockwell havia terminado seu contrato com o Saturday Evening Post no ano anterior devido à frustração com os limites que a revista colocou na sua expressão de temas políticos, e o Look lhe ofereceu um fórum para seus interesses sociais, incluindo direitos civis e integração racial. Rockwell explorou temas semelhantes em Southern Justice (Murder in Mississippi) e New Kids in the Neighborhood; ao contrário de seus trabalhos anteriores para o Post, The Problem We All Live With e esses outros colocam os negros como únicos protagonistas, em vez de como observadores, como parte de cenas de grupo, ou em papéis servil. Como New Kids in the Neighborhood, The Problem We All Live With retrata uma criança negra protagonista; como a Justiça do Sul, ela usa fortes contrastes luz-escuros para aprofundar seu tema racial.
Enquanto o tema da pintura foi inspirado em Ruby Bridges, Rockwell usou uma garota local, Lynda Gunn, como modelo para sua pintura; sua prima, Anita Gunn, também foi usada. Um dos marshals foi modelado por William Obanhein.
Após a publicação do trabalho, Rockwell recebeu “sacos de correio desaprovador”, um exemplo acusando-o de ser um “traidor da raça branca”.