Církev Všech duší byla první unitářskou kongregací v New Yorku a vznikla v roce 1819, kdy Lucy Channing Russellová pozvala do svého domu na Dolním Manhattanu čtyřicet přátel a sousedů, aby si vyslechli proslov jejího bratra Williama Elleryho Channinga, faráře církve na Federal Street v Bostonu. Channing se v New Yorku zastavil na cestě do Baltimoru, kde měl pronést slavné kázání, v němž měl formulovat charakteristické zásady unitářského křesťanství, z nichž nejvýznamnější bylo odmítnutí Trojice ve prospěch absolutního monoteismu a nutnost vykládat Bibli rozumem. Nadšení, které Channing vzbudil, vyvrcholilo v New Yorku založením První kongregační církve (unitářské), která v letech 1820-21 postavila svou první budovu na Chambers Street mezi Church Street a Chapel Street, a to ještě předtím, než našla svého duchovního. Nábor byl obtížný, protože jen málokterého duchovního se podařilo přesvědčit, aby se odvážil opustit stabilní unitářské centrum v Nové Anglii a riskoval svou kariéru v nových sborech za hranicemi. Nakonec byl 18. prosince 1821 do funkce prvního duchovního uveden William Ware.
V roce 1845 se sbor přestěhoval do nové budovy na adrese 548 Broadway a následujícího roku se přejmenoval na Church of the Divine Unity. Současný název All Souls (Všechny duše) převzala americká církev poprvé v roce 1855, kdy sbor vysvětil svou třetí budovu na adrese 249 Fourth Avenue (nyní Park Avenue South) u 20. ulice. Nový kostel navrhl Jacob Wrey Mould a vyznačoval se pruhy červených a bílých cihel a kaenového kamene, což vedlo k hovorovým názvům „Svatá zebra“ a „Hovězí kostel“.
Ve spolupráci s farářem Henrym Whitney Bellowsem, který sloužil více než čtyři desetiletí od roku 1839 do roku 1882, se sbor All Souls rozrostl o některé přední sociální reformátory a kulturní osobnosti města, jako byli Peter Cooper, Herman Melville a další. Jedním z významných členů byla spisovatelka Catharine Sedgwicková, která si povšimla různorodého původu lidí, které přitahovala svoboda etického zkoumání, kterou All Souls nabízelo: „cizinci z vnitrozemí i vnitrozemí, angličtí radikálové a dcery Erinu, Němci a Holanďané, filosofičtí pohané a nevěřící Židé …“. V tomto našem spolku se najde alespoň jeden z každého druhu.“ Tím, že se All Souls vyvinula z unitářského křesťanství, přijala rozšiřující se náboženský pluralismus, který trvá dodnes.
Všechny duše se v roce 1932 přestěhovaly do své současné budovy na Upper East Side na Lexington Avenue 1157 na 80. ulici, kterou navrhl vnuk Richarda Upjohna, Herbert Upjohn, ve stylu koloniálního obrození se základnou ovlivněnou regentstvím. Forrest Church, plodný spisovatel a teolog, pak působil jako starší duchovní téměř třicet let až do začátku roku 2007, kdy ho kvůli nevyléčitelné rakovině vystřídal Galen Guengerich a převzal méně náročné povinnosti duchovního veřejné teologie. Churchův charismatický styl se zasloužil o oživení sboru.