Todas las Almas fue la primera congregación unitaria que se organizó en Nueva York y se originó en 1819 cuando Lucy Channing Russell invitó a cuarenta amigos y vecinos a su casa del Bajo Manhattan, para escuchar un discurso de su hermano, William Ellery Channing, ministro de la Iglesia de la Calle Federal de Boston. Channing hacía una parada en Nueva York mientras viajaba a Baltimore para predicar el famoso sermón en el que articularía los principios distintivos del cristianismo unitario, los más destacados de los cuales eran el rechazo de la Trinidad en favor del monoteísmo absoluto, y el imperativo de interpretar la Biblia a través de la razón. En Nueva York, el entusiasmo suscitado por Channing culminó con la formación de la Primera Iglesia Congregacional (Unitaria), que procedió a erigir su primer edificio en 1820-21, en Chambers Street entre Church Street y Chapel Street, antes incluso de haber encontrado un ministro. La tarea de reclutamiento fue difícil, ya que pocos ministros podían ser persuadidos de aventurarse lejos de la estabilidad del corazón unitario en Nueva Inglaterra y arriesgar sus carreras en nuevas congregaciones más allá. Finalmente, el 18 de diciembre de 1821, William Ware fue instalado como primer ministro.
En 1845, la congregación se trasladó a un nuevo edificio en el 548 de Broadway y al año siguiente se rebautizó como Iglesia de la Divina Unidad. En 1855, una iglesia estadounidense adoptó por primera vez el nombre actual, All Souls (Todas las Almas), cuando la congregación dedicó su tercer edificio, en el 249 de la Cuarta Avenida (actual Park Avenue South) a la altura de la calle 20. La nueva iglesia fue diseñada por Jacob Wrey Mould y presentaba bandas de ladrillos rojos y blancos y piedra de Caen, lo que dio lugar a los nombres coloquiales de «The Holy Zebra» y «The Beefsteak Church».
En asociación con el ministro Henry Whitney Bellows, que ejerció su cargo durante más de cuatro décadas, de 1839 a 1882, All Souls llegó a incluir a algunos de los principales reformadores sociales y figuras culturales de la ciudad, como Peter Cooper, Herman Melville y otros. Uno de los miembros más destacados fue la novelista Catharine Sedgwick, que comentó la diversidad de orígenes de las personas que se sentían atraídas por la libertad de investigación ética que ofrecía All Souls: «extranjeros del interior y del exterior, radicales ingleses e hijas de Erin, alemanes y holandeses, gentiles filósofos y judíos descreídos…». En esta, nuestra asamblea, hay al menos uno de cada tipo». Al evolucionar desde sus raíces en el cristianismo unitario, All Souls abrazó un pluralismo religioso cada vez mayor que continúa hasta hoy.
All Souls se trasladó a su edificio actual en el Upper East Side, en el 1157 de Lexington Avenue con la calle 80, en 1932, diseñado por el nieto de Richard Upjohn, Herbert Upjohn, en estilo Colonial Revival con una base de influencia Regency. Forrest Church, prolífico autor y teólogo, ocupó el cargo de Ministro Principal durante casi treinta años, hasta que a principios de 2007, debido a un cáncer terminal, fue sucedido por Galen Guengerich y asumió las funciones, menos agotadoras, de Ministro de Teología Pública. Al estilo carismático de Church se le atribuye la revitalización de la congregación.