All Souls fu la prima congregazione unitariana ad essere organizzata a New York e nacque nel 1819 quando Lucy Channing Russell invitò quaranta amici e vicini nella sua casa di Lower Manhattan, per ascoltare un discorso di suo fratello, William Ellery Channing, il ministro della Federal Street Church di Boston. Channing stava facendo una sosta a New York mentre si recava a Baltimora per predicare il famoso sermone in cui avrebbe articolato i principi distintivi del cristianesimo unitariano, i più salienti dei quali erano il rifiuto della Trinità in favore del monoteismo assoluto e l’imperativo di interpretare la Bibbia attraverso la ragione. A New York, l’entusiasmo suscitato da Channing culminò nella formazione della First Congregational Church (Unitarian), che procedette a costruire il suo primo edificio nel 1820-21, in Chambers Street tra Church Street e Chapel Street, prima ancora di aver trovato un ministro. Il compito di reclutamento era difficile, poiché pochi ministri potevano essere persuasi ad avventurarsi lontano dalla stabilità del cuore unitariano del New England e a rischiare la loro carriera in nuove congregazioni al di là. Alla fine, il 18 dicembre 1821, William Ware fu installato come primo ministro.
Nel 1845, la congregazione si trasferì in un nuovo edificio al 548 di Broadway e l’anno seguente si ribattezzò Church of the Divine Unity. Nel 1855, il nome attuale, All Souls, fu assunto per la prima volta da una chiesa americana quando la congregazione dedicò il suo terzo edificio, al 249 di Fourth Avenue (ora Park Avenue South) sulla 20a strada. La nuova chiesa fu progettata da Jacob Wrey Mould e presentava fasce di mattoni rossi e bianchi e pietra di Caen, che portarono ai nomi colloquiali di “The Holy Zebra” e “The Beefsteak Church.”
In collaborazione con il ministro Henry Whitney Bellows, che servì per oltre quattro decenni dal 1839 al 1882, All Souls crebbe fino a includere alcuni dei principali riformatori sociali e figure culturali della città, come Peter Cooper, Herman Melville e altri. Un membro noto fu la romanziera Catharine Sedgwick, che sottolineò la diversità di background delle persone che erano attratte dalla libertà di indagine etica che All Souls offriva: “stranieri dall’interno e dall’esterno, radicali inglesi e figlie di Erin, tedeschi e olandesi, gentili filosofi ed ebrei miscredenti… In questa, la nostra associazione, c’è almeno uno di ogni tipo”. Evolvendosi dalle sue radici nel cristianesimo unitariano, All Souls ha abbracciato un pluralismo religioso in espansione che continua ancora oggi.
All Souls si è trasferita nel suo attuale edificio nell’Upper East Side al 1157 di Lexington Avenue sulla 80esima strada nel 1932, progettato dal nipote di Richard Upjohn, Herbert Upjohn, in stile Colonial Revival con una base influenzata dal Regency. Forrest Church, il prolifico autore e teologo, ha poi servito come ministro anziano per quasi trent’anni fino all’inizio del 2007, quando, a causa di un cancro terminale, gli è succeduto Galen Guengerich e ha assunto i compiti meno faticosi di ministro della teologia pubblica. Lo stile carismatico di Church è stato accreditato con la rivitalizzazione della congregazione.