Obrázek byl původně publikován na titulní straně časopisu Look ze 14. ledna 1964. Rockwell v předchozím roce ukončil smlouvu s časopisem Saturday Evening Post kvůli frustraci z omezení, která časopis kladl na jeho vyjadřování politických témat, a Look mu nabídl fórum pro jeho sociální zájmy, včetně občanských práv a rasové integrace. Rockwell se podobným tématům věnoval ve filmech Southern Justice (Vražda v Mississippi) a New Kids in the Neighborhood; na rozdíl od jeho předchozích prací pro Post jsou v The Problem We All Live With a v dalších dílech černoši jedinými protagonisty, nikoli pozorovateli, součástí skupinových scén nebo v podřízených rolích. Stejně jako New Kids in the Neighborhood i The Problem We All Live With zobrazuje černošského dětského hrdinu; podobně jako Southern Justice využívá výrazných kontrastů světla a tmy, aby podpořil své rasové téma.
Ačkoli byl námět obrazu inspirován Ruby Bridgesovou, Rockwell použil jako model pro svůj obraz místní dívku Lyndu Gunnovou; použil také její sestřenici Anitu Gunnovou. Modelem jednoho z maršálů byl William Obanhein.
Po zveřejnění díla obdržel Rockwell „pytle nesouhlasné pošty“, v jednom z příkladů byl obviněn, že je „zrádcem bílé rasy“.
Poté, co bylo dílo zveřejněno, obdržel Rockwell „pytle nesouhlasné pošty“.