All Souls a été la première congrégation unitarienne à être organisée à New York et a vu le jour en 1819 lorsque Lucy Channing Russell a invité quarante amis et voisins dans sa maison du Lower Manhattan, pour écouter un discours de son frère, William Ellery Channing, le ministre de la Federal Street Church à Boston. Channing faisait une halte à New York alors qu’il se rendait à Baltimore pour prononcer le célèbre sermon dans lequel il énoncerait les principes distinctifs du christianisme unitarien, dont les plus saillants étaient le rejet de la Trinité en faveur d’un monothéisme absolu, et l’impératif d’interpréter la Bible par la raison. À New York, l’enthousiasme suscité par Channing culmine avec la formation de la First Congregational Church (Unitarian), qui érige son premier bâtiment en 1820-21, sur Chambers Street entre Church Street et Chapel Street, avant même d’avoir trouvé un ministre. La tâche de recrutement est difficile, car peu de ministres peuvent être persuadés de s’éloigner de la stabilité du cœur unitarien de la Nouvelle-Angleterre et de risquer leur carrière dans de nouvelles congrégations. Finalement, le 18 décembre 1821, William Ware fut installé comme premier ministre.
En 1845, la congrégation déménage dans un nouveau bâtiment au 548 Broadway et se rebaptise l’année suivante Church of the Divine Unity. En 1855, le nom actuel, All Souls, est pris par une église américaine pour la première fois lorsque la congrégation inaugure son troisième bâtiment, au 249 Fourth Avenue (aujourd’hui Park Avenue South) à la 20e rue. La nouvelle église a été conçue par Jacob Wrey Mould et présentait des bandes de briques rouges et blanches et de pierre de Caen, ce qui a conduit aux noms familiers de « The Holy Zebra » et « The Beefsteak Church ».
En partenariat avec le ministre Henry Whitney Bellows, qui a servi pendant plus de quatre décennies, de 1839 à 1882, All Souls s’est développée pour inclure certains des principaux réformateurs sociaux et personnalités culturelles de la ville, comme Peter Cooper, Herman Melville et d’autres. La romancière Catharine Sedgwick est l’un de ces membres remarquables. Elle a fait remarquer la diversité des origines des personnes qui étaient attirées par la liberté de recherche éthique offerte par All Souls : Des étrangers venus de l’intérieur et de l’extérieur, des radicaux anglais et des filles d’Erin, des Allemands et des Hollandais, des gentils philosophes et des juifs incrédules… ». Dans cette assemblée, il y a au moins une personne de chaque sorte ». En évoluant à partir de ses racines dans le christianisme unitarien, All Souls a embrassé un pluralisme religieux élargi qui se poursuit encore aujourd’hui.
All Souls a déménagé dans son bâtiment actuel de l’Upper East Side au 1157 Lexington Avenue à la 80e rue en 1932, conçu par le petit-fils de Richard Upjohn, Herbert Upjohn, dans le style néo-colonial avec une base influencée par Regency. Forrest Church, auteur et théologien prolifique, a ensuite occupé le poste de ministre principal pendant près de trente ans, jusqu’au début de l’année 2007, lorsque, en raison d’un cancer en phase terminale, il a été remplacé par Galen Guengerich et a assumé les fonctions moins pénibles de ministre de la théologie publique. Le style charismatique de Church a été crédité de la revitalisation de la congrégation.