All Souls was de eerste Unitarische gemeente die in New York werd georganiseerd en ontstond in 1819 toen Lucy Channing Russell veertig vrienden en buren uitnodigde in haar huis in Lower Manhattan om te luisteren naar een toespraak van haar broer, William Ellery Channing, de predikant van de Federal Street Church in Boston. Channing maakte een tussenstop in New York op weg naar Baltimore om de beroemde preek te houden waarin hij de onderscheidende leerstellingen van het Unitarische Christendom zou verwoorden, waarvan de meest in het oog springende de verwerping van de Drie-eenheid ten gunste van het absolute Monotheïsme waren, en de verplichting om de Bijbel te interpreteren met behulp van de rede. In New York culmineerde het door Channing gewekte enthousiasme in de oprichting van de First Congregational Church (Unitarian), die in 1820-21 haar eerste gebouw oprichtte in Chambers Street tussen Church Street en Chapel Street, nog voordat zij een predikant had gevonden. De aanwerving was een moeilijke taak omdat weinig predikanten konden worden overgehaald om zich buiten de stabiliteit van het Unitarische hart in New England te wagen en hun carrière te riskeren in nieuwe congregaties daarbuiten. Uiteindelijk werd op 18 december 1821 William Ware als eerste predikant geïnstalleerd.
In 1845 verhuisde de congregatie naar een nieuw gebouw op 548 Broadway en doopte zichzelf het jaar daarop om tot de Church of the Divine Unity. In 1855 werd de huidige naam, All Souls, voor het eerst door een Amerikaanse kerk gebruikt toen de congregatie haar derde gebouw inwijdde, op 249 Fourth Avenue (nu Park Avenue South) bij 20th Street. De nieuwe kerk was ontworpen door Jacob Wrey Mould en had banden van rode en witte bakstenen en Caen-steen, wat leidde tot de in de volksmond gebruikte namen “The Holy Zebra” en “The Beefsteak Church.”
In samenwerking met dominee Henry Whitney Bellows, die van 1839 tot 1882 meer dan vier decennia dienst deed, groeide All Souls uit tot een kerk met enkele van de belangrijkste sociale hervormers en culturele figuren van de stad, zoals Peter Cooper, Herman Melville en anderen. Een bekend lid was de romanschrijfster Catharine Sedgwick, die opmerkte over de diverse achtergronden van de mensen die werden aangetrokken door de vrijheid van ethisch onderzoek die All Souls bood: “Vreemdelingen uit binnen- en buitenland, Engelse radicalen en dochters van Erin, Duitsers en Hollanders, filosofische heidenen en ongelovige joden … In dit, onze vergadering, is er tenminste één van elke soort.” Door zijn wortels in het Unitarische Christendom te ontwikkelen, heeft All Souls een groeiend religieus pluralisme omarmd dat tot op de dag van vandaag voortduurt.
All Souls verhuisde in 1932 naar het huidige gebouw aan de Upper East Side op 1157 Lexington Avenue at 80th Street, ontworpen door de kleinzoon van Richard Upjohn, Herbert Upjohn, in de stijl van de Colonial Revival met een Regency-beïnvloedde basis. Forrest Church, de productieve schrijver en theoloog, diende vervolgens bijna dertig jaar als Senior Minister tot begin 2007, toen hij, vanwege terminale kanker, werd opgevolgd door Galen Guengerich en de minder inspannende taken van Minister van Openbare Theologie op zich nam. Church’s charismatische stijl is toegeschreven aan de revitalisering van de gemeente.