Az All Souls volt az első New Yorkban szervezett unitárius gyülekezet, amely 1819-ben jött létre, amikor Lucy Channing Russell negyven barátját és szomszédját hívta meg alsó-manhattani otthonába, hogy meghallgassák bátyja, William Ellery Channing, a bostoni Federal Street Church lelkészének beszédét. Channing megállt New Yorkban, miközben Baltimore-ba utazott, hogy elmondja híres prédikációját, amelyben megfogalmazta az unitárius kereszténység jellegzetes tanait, amelyek közül a legmarkánsabbak a Szentháromság elutasítása az abszolút monoteizmus javára, valamint a Biblia ésszel történő értelmezésének szükségessége voltak. New Yorkban a Channing által kiváltott lelkesedés a First Congregational Church (unitárius) megalakulásában csúcsosodott ki, amely 1820-21-ben felépítette első épületét a Chambers Street-en, a Church Street és a Chapel Street között, még mielőtt lelkészre talált volna. A toborzás nehéz feladat volt, mivel kevés lelkészt lehetett rávenni arra, hogy elhagyja az unitáriusok stabil új-angliai központját, és kockáztassa karrierjét az új gyülekezetekben. Végül 1821. december 18-án William Ware-t iktatták be első lelkészként.
A gyülekezet 1845-ben új épületbe költözött a Broadway 548. szám alá, és a következő évben átnevezte magát Isteni Egység Templomának. A jelenlegi nevet, All Souls, 1855-ben vette fel először amerikai egyház, amikor a gyülekezet felszentelte harmadik épületét, a Fourth Avenue (ma Park Avenue South) 249. szám alatt, a 20. utcában. Az új templomot Jacob Wrey Mould tervezte, és vörös és fehér téglából és Caen-kőből készült sávokat tartalmazott, ami a köznyelvben a “The Holy Zebra” és a “The Beefsteak Church” elnevezésekhez vezetett.”
Az 1839 és 1882 között több mint négy évtizeden át szolgáló Henry Whitney Bellows lelkésszel együttműködve az All Souls a város néhány vezető társadalmi reformerét és kulturális személyiségét, például Peter Coopert, Herman Melville-t és másokat is befogadott. Az egyik neves tag a regényíró Catharine Sedgwick volt, aki megjegyezte, hogy az All Souls által kínált etikai kutatás szabadsága vonzotta az emberek sokféle hátterét: “idegenek belföldről és külföldről, angol radikálisok és Erin lányai, németek és hollandok, filozofikus nem-zsidók és hitetlen zsidók … . Ebben a mi gyülekezetünkben minden fajtából legalább egy van”. Az unitárius kereszténységben gyökerező All Souls a mai napig tartó, egyre bővülő vallási pluralizmust fogadta be.
Az All Souls 1932-ben költözött jelenlegi épületébe az Upper East Side-on, a Lexington Avenue 1157. szám alatt, a 80. utcában, amelyet Richard Upjohn unokája, Herbert Upjohn tervezett Colonial Revival stílusban, Regency-hatású alapokkal. Forrest Church, a termékeny író és teológus ezután közel harminc éven át töltötte be a vezető lelkészi tisztséget, egészen 2007 elejéig, amikor halálos rákbetegség miatt Galen Guengerich váltotta őt, és átvette a kevésbé megterhelő teológiai lelkészi feladatokat. Church karizmatikus stílusának tulajdonították a gyülekezet megújulását.