All Souls var den första unitariska församlingen som organiserades i New York och grundades 1819 när Lucy Channing Russell bjöd in 40 vänner och grannar till sitt hem på nedre Manhattan för att lyssna på ett tal av sin bror William Ellery Channing, präst i Federal Street Church i Boston. Channing gjorde ett stopp i New York när han reste till Baltimore för att hålla den berömda predikan där han skulle formulera de utmärkande principerna för den unitariska kristendomen, varav de mest framträdande var förkastandet av treenigheten till förmån för en absolut monoteism och kravet på att tolka Bibeln med hjälp av förnuftet. I New York kulminerade den entusiasm som Channing väckte i bildandet av First Congregational Church (Unitarian), som började uppföra sin första byggnad 1820-21, på Chambers Street mellan Church Street och Chapel Street, innan den ens hade hittat en präst. Rekryteringsuppgiften var svår eftersom få präster kunde övertalas att våga sig bort från stabiliteten i det unitariska kärnområdet i New England och riskera sina karriärer i nya församlingar längre bort. Slutligen, den 18 december 1821, installerades William Ware som den första prästen.
År 1845 flyttade församlingen till en ny byggnad på 548 Broadway och döptes om till Church of the Divine Unity följande år. År 1855 tog en amerikansk kyrka för första gången det nuvarande namnet All Souls när församlingen invigde sin tredje byggnad på 249 Fourth Avenue (nu Park Avenue South) vid 20th Street. Den nya kyrkan ritades av Jacob Wrey Mould och hade band av rött och vitt tegel och Caen-sten, vilket ledde till de vardagliga namnen ”The Holy Zebra” och ”The Beefsteak Church.”
I samarbete med prästen Henry Whitney Bellows, som tjänstgjorde i mer än fyra decennier från 1839 till 1882, växte All Souls till att inkludera några av stadens ledande samhällsreformatörer och kulturpersonligheter, som Peter Cooper, Herman Melville och andra. En uppmärksammad medlem var romanförfattaren Catharine Sedgwick, som anmärkte på de olika bakgrunderna hos de människor som attraherades av den frihet till etiska undersökningar som All Souls erbjöd: ”främlingar från inlandet och utlandet, engelska radikaler och Erins döttrar, tyskar och holländare, filosofiska icke-judar och otrogna judar … . I denna, vår förening, finns det minst en av varje sort.” All Souls har utvecklats från sina rötter i den unitariska kristendomen och har omfamnat en växande religiös pluralism som fortsätter än idag.
All Souls flyttade till sin nuvarande byggnad på Upper East Side vid 1157 Lexington Avenue vid 80th Street 1932, som ritades av Richard Upjohns sonson, Herbert Upjohn, i Colonial Revival-stil med en Regency-influerad bas. Forrest Church, den produktiva författaren och teologen, tjänstgjorde sedan som Senior Minister i nästan trettio år fram till början av 2007, då han på grund av obotlig cancer efterträddes av Galen Guengerich och tog på sig de mindre ansträngande uppgifterna som Minister of Public Theology. Churchs karismatiska stil har tillskrivits församlingens revitalisering.