All Souls war die erste unitarische Gemeinde, die in New York gegründet wurde. Sie entstand 1819, als Lucy Channing Russell vierzig Freunde und Nachbarn in ihr Haus in Lower Manhattan einlud, um eine Ansprache ihres Bruders William Ellery Channing, des Pfarrers der Federal Street Church in Boston, zu hören. Channing machte auf seiner Reise nach Baltimore einen Zwischenstopp in New York, um dort die berühmte Predigt zu halten, in der er die charakteristischen Grundsätze des unitarischen Christentums darlegte, darunter die Ablehnung der Trinität zugunsten des absoluten Monotheismus und das Gebot, die Bibel mit Hilfe der Vernunft auszulegen. In New York gipfelte die von Channing ausgelöste Begeisterung in der Gründung der First Congregational Church (Unitarian), die 1820-21 ihr erstes Gebäude in der Chambers Street zwischen Church Street und Chapel Street errichtete, noch bevor sie einen Pfarrer gefunden hatte. Die Rekrutierung war schwierig, da sich nur wenige Geistliche dazu überreden ließen, die Stabilität des unitarischen Kernlandes in Neuengland zu verlassen und ihre Karriere in neuen Gemeinden in der Ferne zu riskieren. Schließlich wurde am 18. Dezember 1821 William Ware als erster Pfarrer eingesetzt.
Im Jahr 1845 zog die Gemeinde in ein neues Gebäude am 548 Broadway und benannte sich im folgenden Jahr in Church of the Divine Unity um. Der heutige Name All Souls wurde 1855 zum ersten Mal von einer amerikanischen Kirche angenommen, als die Gemeinde ihr drittes Gebäude in der 249 Fourth Avenue (heute Park Avenue South) an der 20th Street einweihte. Die neue Kirche wurde von Jacob Wrey Mould entworfen und wies Bänder aus roten und weißen Ziegeln und Caen-Stein auf, was zu den umgangssprachlichen Namen „The Holy Zebra“ und „The Beefsteak Church“ führte.
In Zusammenarbeit mit Pfarrer Henry Whitney Bellows, der über vier Jahrzehnte von 1839 bis 1882 amtierte, wuchs All Souls um einige der führenden Sozialreformer und kulturellen Persönlichkeiten der Stadt, wie Peter Cooper, Herman Melville und andere. Ein bekanntes Mitglied war die Romanautorin Catharine Sedgwick, die sich über die unterschiedlichen Hintergründe der Menschen äußerte, die von der Freiheit der ethischen Untersuchung, die All Souls bot, angezogen wurden: „Fremde aus dem In- und Ausland, englische Radikale und Töchter von Erin, Deutsche und Holländer, philosophische Nichtjuden und ungläubige Juden … In unserem Verein gibt es mindestens einen von jeder Sorte“. Ausgehend von ihren Wurzeln im unitarischen Christentum haben sich All Souls einen wachsenden religiösen Pluralismus zu eigen gemacht, der bis heute anhält.
All Souls zog 1932 in ihr heutiges Gebäude an der Upper East Side, 1157 Lexington Avenue, 80th Street, um, das von Richard Upjohns Enkel Herbert Upjohn im Colonial Revival-Stil mit einem vom Regency-Stil beeinflussten Sockel entworfen wurde. Forrest Church, der produktive Autor und Theologe, diente dann fast dreißig Jahre lang als leitender Geistlicher, bis er Anfang 2007 aufgrund einer Krebserkrankung im Endstadium von Galen Guengerich abgelöst wurde und die weniger anstrengenden Aufgaben des Ministers für öffentliche Theologie übernahm. Churchs charismatischer Stil wurde für die Wiederbelebung der Gemeinde verantwortlich gemacht.