Francis Brinley, een Engelse immigrant, bouwde het oorspronkelijke gebouw op deze plek in 1652. In 1673 verkocht hij het perceel aan William Mayes, die het gebouw uitbreidde tot een taveerne. Het gebouw werd ook gebruikt voor grote bijeenkomsten, onder meer als vergaderzaal van de Rhode Island General Assembly, als gerechtsgebouw en als stadhuis. William Mayes kreeg in 1687 een herbergvergunning en zijn zoon William Mayes jr. exploiteerde de herberg tot het begin van de achttiende eeuw. De uitbating werd in 1730 door eigenaar Jonathan Nichols “The White Horse Tavern” genoemd.
Tories en Britse troepen werden er ingekwartierd tijdens de Britse bezetting van Newport tijdens de Amerikaanse Revolutie, rond de tijd van de Slag om Rhode Island. De Newportse familie Van Bueren doneerde geld aan de particuliere Preservation Society of Newport om het gebouw in 1952 te restaureren, na jaren van verwaarlozing als pension. Na de restauratie werd het gebouw verkocht en opnieuw geëxploiteerd als een privé-taverne en restaurant, en het is vandaag de dag nog steeds een populaire drink- en eetgelegenheid.