All Souls a fost prima congregație unitariană organizată în New York și a luat naștere în 1819, când Lucy Channing Russell a invitat patruzeci de prieteni și vecini în casa ei din Lower Manhattan, pentru a asculta un discurs al fratelui ei, William Ellery Channing, ministrul Bisericii Federal Street din Boston. Channing făcea o oprire la New York în timp ce călătorea spre Baltimore pentru a rosti celebra predică în care avea să articuleze principiile distinctive ale creștinismului unitarian, dintre care cele mai importante erau respingerea Trinității în favoarea monoteismului absolut și imperativul interpretării Bibliei prin intermediul rațiunii. În New York, entuziasmul stârnit de Channing a culminat cu formarea Primei Biserici Congregaționale (unitariană), care a procedat la ridicarea primei sale clădiri în 1820-21, pe Chambers Street, între Church Street și Chapel Street, înainte de a fi găsit măcar un preot. Sarcina de recrutare a fost dificilă, deoarece puțini miniștri puteau fi convinși să se aventureze departe de stabilitatea nucleului unitarian din Noua Anglie și să-și riște cariera în noile congregații de dincolo. În cele din urmă, la 18 decembrie 1821, William Ware a fost instalat ca prim ministru.
În 1845, congregația s-a mutat într-o clădire nouă la 548 Broadway și s-a redenumit Biserica Unității Divine în anul următor. În 1855, numele actual, All Souls, a fost preluat pentru prima dată de o biserică americană atunci când congregația și-a dedicat cea de-a treia clădire, la 249 Fourth Avenue (acum Park Avenue South), la intersecția cu 20th Street. Noua biserică a fost proiectată de Jacob Wrey Mould și prezenta benzi de cărămizi roșii și albe și piatră de Caen, ceea ce a dus la denumirile colocviale de „The Holy Zebra” și „The Beefsteak Church.”
În parteneriat cu preotul Henry Whitney Bellows, care a slujit timp de peste patru decenii, din 1839 până în 1882, All Souls a crescut pentru a include unii dintre cei mai importanți reformatori sociali și personalități culturale ale orașului, cum ar fi Peter Cooper, Herman Melville și alții. Un membru de seamă a fost romanciera Catharine Sedgwick, care a remarcat diversitatea de origini a oamenilor care erau atrași de libertatea de cercetare etică pe care o oferea All Souls: „străini din interior și din exterior, radicali englezi și fiice ale Erinului, germani și olandezi, neamuri filozofice și evrei necredincioși… . În aceasta, adunarea noastră, există cel puțin unul de fiecare fel”. Evoluând de la rădăcinile sale în creștinismul unitarian, All Souls a îmbrățișat un pluralism religios în expansiune care continuă până în zilele noastre.
All Souls s-a mutat în 1932 în clădirea sa actuală din Upper East Side, la 1157 Lexington Avenue la 80th Street, proiectată de nepotul lui Richard Upjohn, Herbert Upjohn, în stil Colonial Revival cu o bază cu influențe Regency. Forrest Church, autor și teolog prolific, a fost apoi ministru principal timp de aproape treizeci de ani, până la începutul anului 2007, când, din cauza unui cancer în fază terminală, a fost înlocuit de Galen Guengerich și a preluat îndatoririle mai puțin obositoare de ministru al Teologiei Publice. Stilul carismatic al lui Church a fost creditat cu revitalizarea congregației.