Pictura a fost publicată inițial ca pagină centrală în numărul din 14 ianuarie 1964 al revistei Look. Rockwell își încheiase contractul cu Saturday Evening Post în anul precedent din cauza frustrării față de limitele pe care revista le impunea în exprimarea temelor politice, iar Look i-a oferit un forum pentru interesele sale sociale, inclusiv drepturile civile și integrarea rasială. Rockwell a explorat teme similare în Southern Justice (Crimă în Mississippi) și New Kids in the Neighborhood; spre deosebire de lucrările sale anterioare pentru Post, The Problem We All Live With și celelalte îi plasează pe oamenii de culoare ca unici protagoniști, în loc să fie observatori, parte a unor scene de grup sau în roluri servile. La fel ca New Kids in the Neighborhood, The Problem We All Live With înfățișează un protagonist copil de culoare; la fel ca Southern Justice, folosește contraste puternice între lumină și întuneric pentru a promova tema rasială.
În timp ce subiectul tabloului a fost inspirat de Ruby Bridges, Rockwell a folosit ca model pentru tablou o fată din localitate, Lynda Gunn; de asemenea, a folosit-o și pe verișoara ei, Anita Gunn. Unul dintre șerifi a fost modelat de William Obanhein.
După ce lucrarea a fost publicată, Rockwell a primit „saci de corespondență dezaprobatoare”, un exemplu acuzându-l că ar fi fost un „trădător al rasei albe”.