Il dipinto fu originariamente pubblicato come paginone centrale nel numero del 14 gennaio 1964 di Look. Rockwell aveva terminato il suo contratto con il Saturday Evening Post l’anno precedente a causa della frustrazione per i limiti che la rivista poneva alla sua espressione di temi politici, e Look gli offrì un forum per i suoi interessi sociali, compresi i diritti civili e l’integrazione razziale. Rockwell esplorò temi simili in Southern Justice (Murder in Mississippi) e New Kids in the Neighborhood; a differenza dei suoi precedenti lavori per il Post, The Problem We All Live With e questi altri pongono i neri come unici protagonisti, invece che come osservatori, parte di scene di gruppo, o in ruoli servili. Come New Kids in the Neighborhood, The Problem We All Live With raffigura un bambino nero protagonista; come Southern Justice, usa forti contrasti chiaro-scuro per promuovere il suo tema razziale.
Mentre il soggetto del dipinto era ispirato a Ruby Bridges, Rockwell usò una ragazza del posto, Lynda Gunn, come modella per il suo dipinto; fu usata anche sua cugina, Anita Gunn. Uno degli sceriffi fu modellato da William Obanhein.
Dopo la pubblicazione dell’opera, Rockwell ricevette “sacchi di posta di disapprovazione”, un esempio che lo accusava di essere un “traditore della razza bianca”.