オール・ソウルズは、ニューヨークで組織された最初のユニテリアンの集会で、1819年にルーシー・チャニング・ラッセルが彼女の弟、ボストンの連邦通り教会の牧師ウィリアム・エレリー・チャニングによる演説を聞くために、40人の友人や隣人をマンハッタンのローワーの家に招待したときに始まりました。 チャニングは、ボルティモアへの旅の途中でニューヨークに立ち寄り、ユニテリアン主義の特徴的な教義を明確に説いたのである。 ニューヨークでは、チャニングが呼び起こした熱意は、第一会衆派教会（ユニテリアン）の結成に結実し、1820年から21年にかけて、チャーチ・ストリートとチャペル・ストリートの間のチェンバーズ・ストリートに最初の建物が建てられたが、まだ牧師も見つかっていない状態であった。 ニューイングランドにあるユニテリアンの中心地の安定を離れて、向こうの新しい会衆でキャリアを危険にさらすような冒険をするように説得できる牧師はほとんどいなかったので、採用の作業は困難であった。 そして、1821年12月18日、ウィリアム・ウェアが最初の牧師として任命された。
1845年に会衆はブロードウェー548番地の新しい建物に移動して翌年教会名を神聖統一体と改名した。 1855年、20番街の249 Fourth Avenue (現在のPark Avenue South) に3つ目の建物を捧げたとき、現在の名前であるAll Soulsが初めてアメリカの教会で採用されたのです。
1839年から1882年まで40年以上務めたヘンリー・ホイットニー・ベローズ牧師と協力して、オール・ソウルズは、ピーター・クーパー、ハーマン・メルビルなど、この都市の主要な社会改革者や文化人を含む教会に成長した。 小説家のキャサリン・セジウィックは、オール・ソウルズが提供する自由な倫理的探求に魅了された人々の多様な背景について、次のように語っている。 内地から来た見知らぬ人、外地から来た人、イギリスの急進派、エリンの娘、ドイツ人、オランダ人、哲学的な異邦人、不信心なユダヤ人……」。 この教会には、少なくともあらゆる種類の人がいるのです」。
オール・ソウルズは、1932年にアッパーイーストサイドのレキシントン通り1157番地の80丁目にある現在の建物に移転しました。 その後、多作で神学者のフォレスト・チャーチは、末期がんのため、2007年初めまで約30年間主任牧師を務め、ゲイレン・グエンゲリッチが後任として、より激務でない公共神学担当の牧師を引き受けた。 チャーチのカリスマ的なスタイルは、会衆の活性化に貢献したと言われています
。