Wszystkie Dusze były pierwszym zgromadzeniem unitariańskim zorganizowanym w Nowym Jorku i powstały w 1819 roku, kiedy Lucy Channing Russell zaprosiła czterdziestu przyjaciół i sąsiadów do swojego domu na Dolnym Manhattanie, aby wysłuchać przemówienia swojego brata, Williama Ellery Channinga, pastora Kościoła Federal Street w Bostonie. Channing zatrzymał się w Nowym Jorku podczas podróży do Baltimore, aby wygłosić słynne kazanie, w którym miał wyartykułować charakterystyczne doktryny chrześcijaństwa unitariańskiego, z których najistotniejsze to odrzucenie Trójcy Świętej na rzecz absolutnego monoteizmu oraz nakaz interpretowania Biblii za pomocą rozumu. W Nowym Jorku entuzjazm wzbudzony przez Channinga doprowadził do powstania Pierwszego Kościoła Kongregacyjnego (Unitariańskiego), który w latach 1820-21 wzniósł swój pierwszy budynek przy Chambers Street, pomiędzy Church Street i Chapel Street, zanim jeszcze znalazł pastora. Zadanie rekrutacji było trudne, ponieważ niewielu ministrów dało się przekonać, by odważyli się odejść od stabilności unitariańskiego serca w Nowej Anglii i zaryzykować karierę w nowych kongregacjach poza nią. W końcu, 18 grudnia 1821 roku, William Ware został zainstalowany jako pierwszy pastor.
W 1845 roku kongregacja przeniosła się do nowego budynku przy 548 Broadway i w następnym roku zmieniła nazwę na Church of the Divine Unity. W 1855 roku, obecna nazwa, All Souls, została przyjęta przez amerykański kościół po raz pierwszy, kiedy kongregacja poświęciła swój trzeci budynek, przy 249 Fourth Avenue (obecnie Park Avenue South) na 20th Street. Nowy kościół został zaprojektowany przez Jacoba Wreya Moulda i zawierał pasma czerwonej i białej cegły oraz kamień Caen, co doprowadziło do potocznych nazw „The Holy Zebra” i „The Beefsteak Church.”
Współpracując z pastorem Henrym Whitneyem Bellowsem, który służył przez ponad cztery dekady od 1839 do 1882 roku, All Souls powiększył się o niektórych z czołowych reformatorów społecznych i postaci kultury miasta, takich jak Peter Cooper, Herman Melville i inni. Jednym z zauważonych członków była powieściopisarka Catharine Sedgwick, która zauważyła różnorodne pochodzenie ludzi, których przyciągała wolność etycznych dociekań, jaką oferowały Dusze: „obcy z głębi lądu i spoza lądu, angielscy radykałowie i córki Erin, Niemcy i Holendrzy, filozoficzni gentile i niewierzący Żydzi …. W tym, naszym zgromadzeniu, jest co najmniej jeden z każdego rodzaju”. Rozwijając się ze swoich korzeni w chrześcijaństwie unitariańskim, All Souls przyjęło rozszerzający się pluralizm religijny, który trwa do dziś.
All Souls przeniosło się do swojego obecnego budynku na Upper East Side przy 1157 Lexington Avenue na 80-tej Ulicy w 1932 roku, zaprojektowanego przez wnuka Richarda Upjohna, Herberta Upjohna, w stylu Colonial Revival z podstawą inspirowaną Regencją. Forrest Church, płodny autor i teolog, służył jako Starszy Minister przez prawie trzydzieści lat, aż do początku 2007 roku, kiedy to z powodu nieuleczalnej choroby nowotworowej zastąpił go Galen Guengerich i przejął mniej uciążliwe obowiązki Ministra Teologii Publicznej. Charyzmatyczny styl Churcha został przypisany rewitalizacji kongregacji.