Francis Brinley, ein englischer Einwanderer, errichtete das ursprüngliche Gebäude 1652 an dieser Stelle. Im Jahr 1673 verkaufte er das Grundstück an William Mayes, der das Gebäude zu einer Taverne ausbaute. Das Gebäude wurde auch für große Versammlungen genutzt, unter anderem als Versammlungsort der Generalversammlung von Rhode Island, als Gerichtsgebäude und als Rathaus. William Mayes erhielt 1687 eine Schanklizenz, und sein Sohn William Mayes jr. betrieb es bis ins frühe achtzehnte Jahrhundert. Der Betrieb wurde 1730 vom Besitzer Jonathan Nichols in „The White Horse Tavern“ umbenannt.
Tories und britische Truppen wurden dort während der britischen Besetzung von Newport in der Amerikanischen Revolution einquartiert, etwa zur Zeit der Schlacht von Rhode Island. Die Familie Van Bueren aus Newport spendete der privaten Preservation Society of Newport Geld, um das Gebäude 1952 zu restaurieren, nachdem es jahrelang als Pension vernachlässigt worden war. Nach der Restaurierung wurde das Gebäude verkauft und wieder als private Taverne und Restaurant betrieben, und es ist auch heute noch ein beliebter Ort zum Trinken und Essen.