Francis Brinley, angielski imigrant, zbudował oryginalny budynek w tym miejscu w 1652 roku. W 1673 r. sprzedał działkę Williamowi Mayesowi, który powiększył budynek, przekształcając go w tawernę. Budynek był również wykorzystywany do organizowania dużych spotkań, w tym jako miejsce posiedzeń Zgromadzenia Ogólnego Rhode Island, siedziba sądu i ratusz. William Mayes uzyskał licencję na prowadzenie tawerny w 1687 roku, a jego syn William Mayes, Jr. prowadził ją do początku XVIII wieku. W 1730 roku właściciel Jonathan Nichols nadał tawernie nazwę „The White Horse Tavern”.
Torianie i wojska brytyjskie kwaterowały tam podczas brytyjskiej okupacji Newport w czasie rewolucji amerykańskiej, mniej więcej w czasie bitwy o Rhode Island. Rodzina Van Bueren z Newport przekazała pieniądze prywatnemu Towarzystwu Ochrony Newport, aby odrestaurować budynek w 1952 roku, po latach zaniedbania jako pensjonat. Po odrestaurowaniu, budynek został sprzedany i ponownie działał jako prywatna tawerna i restauracja, i do dziś pozostaje popularnym miejscem do picia i spożywania posiłków.