Francis Brinley, en engelsk invandrare, byggde den ursprungliga byggnaden på platsen 1652. År 1673 sålde han tomten till William Mayes som förstorade byggnaden för att bli en krog. Byggnaden användes också för stora möten, bland annat som mötesplats för Rhode Island General Assembly, domstolsbyggnad och stadshus. William Mayes fick en kroglicens 1687 och hans son William Mayes, Jr. drev den under det tidiga 1700-talet. Verksamheten fick namnet ”The White Horse Tavern” 1730 av ägaren Jonathan Nichols.
Tories och brittiska trupper inkvarterades där under den brittiska ockupationen av Newport under den amerikanska revolutionen, omkring tiden för slaget vid Rhode Island. Newports Van Bueren-familj donerade pengar till det privata Preservation Society of Newport för att restaurera byggnaden 1952, efter år av vanvård som pensionat. Efter restaureringen såldes byggnaden och drevs återigen som en privat taverna och restaurang, och den är fortfarande ett populärt ställe att dricka och äta på idag.