All Souls foi a primeira congregação Unitária a ser organizada em Nova York e se originou em 1819 quando Lucy Channing Russell convidou quarenta amigos e vizinhos para sua casa na Baixa Manhattan, para ouvir um discurso de seu irmão, William Ellery Channing, o ministro da Igreja Federal Street em Boston. Channing estava fazendo uma parada em Nova York enquanto viajava para Baltimore para pregar o famoso sermão no qual ele articularia os princípios distintivos do Cristianismo Unitário, os mais salientes dos quais eram a rejeição da Trindade em favor do monoteísmo absoluto, e o imperativo de interpretar a Bíblia através da razão. Em Nova Iorque, o entusiasmo suscitado por Channing culminou com a formação da Primeira Igreja Congregacional (Unitária), que procedeu à construção do seu primeiro edifício em 1820-21, na Chambers Street, entre a Church Street e a Chapel Street, antes mesmo de ter encontrado um ministro. A tarefa de recrutamento era difícil, pois poucos ministros podiam ser persuadidos a se aventurarem longe da estabilidade do coração Unitário na Nova Inglaterra e arriscarem suas carreiras em novas congregações além. Finalmente, em 18 de dezembro de 1821, William Ware foi instalado como o primeiro ministro.
Em 1845, a congregação mudou-se para um novo edifício na 548 Broadway e renomeou-se a si mesma Igreja da Unidade Divina no ano seguinte. Em 1855, o nome atual, All Souls, foi tomado por uma igreja americana pela primeira vez quando a congregação dedicou seu terceiro edifício, na 249 Fourth Avenue (agora Park Avenue South) na 20th Street. A nova igreja foi projetada por Jacob Wrey Mould e apresentava bandas de tijolos vermelhos e brancos e pedra Caen, o que levou aos nomes coloquiais de “The Holy Zebra” e “The Beefsteak Church”
Em parceria com o ministro Henry Whitney Bellows, que serviu por mais de quatro décadas, de 1839 a 1882, All Souls cresceu para incluir alguns dos principais reformadores sociais e figuras culturais da cidade, tais como Peter Cooper, Herman Melville, e outros. Um membro notável foi o romancista Catharine Sedgwick, que comentou sobre as diversas origens do povo que se sentia atraído pela liberdade de investigação ética que All Souls oferecia: “estranhos do interior e do exterior, radicais e filhas inglesas de Erin, alemães e holandeses, gentios filosóficos e judeus incrédulos … Nisto, nossa bunda, há pelo menos um de todo tipo”. Ao evoluir de suas raízes no Cristianismo Unitário, All Souls abraçou um pluralismo religioso crescente que continua até hoje.
All Souls relocated to its current building on the Upper East Side at 1157 Lexington Avenue at 80th Street in 1932, projetado pelo neto de Richard Upjohn, Herbert Upjohn, no estilo de Revivalismo Colonial com uma base influenciada pelo Regency. A Igreja Forrest, o prolífico autor e teólogo, serviu como Ministro Sênior por quase trinta anos até o início de 2007, quando, devido ao câncer terminal, foi sucedido por Galen Guengerich e assumiu as funções menos extenuantes de Ministro da Teologia Pública. O estilo carismático da Igreja foi creditado com a revitalização da congregação.