Francis Brinley, um imigrante inglês, construiu o edifício original no local em 1652. Em 1673, ele vendeu o lote para William Mayes, que ampliou o edifício para se tornar uma taberna. O edifício também foi usado para grandes reuniões, incluindo o uso como local de reunião da Assembléia Geral de Rhode Island, uma casa de tribunal, e uma prefeitura. William Mayes obteve uma licença de taberna em 1687, e seu filho William Mayes, Jr. operou-o até o início do século XVIII. A operação foi chamada “The White Horse Tavern” em 1730 pelo proprietário Jonathan Nichols.
Tories e tropas britânicas foram acantonadas lá durante a ocupação britânica de Newport na Revolução Americana, por volta da época da Batalha de Rhode Island. A família Van Bueren de Newport doou dinheiro à Sociedade Privada de Preservação de Newport para restaurar o edifício em 1952, depois de anos de negligência como pensão. Após a restauração, o edifício foi vendido e mais uma vez funcionou como uma taberna privada e restaurante, e continua a ser um local popular para beber e jantar hoje.