Stadstjänstemännen avsatte en del av det som då var Boston Common för begravningar för att minska överbefolkningen på den närliggande King’s Chapel Burying Ground. Granary Burying Ground fick sitt nuvarande namn 1737 när ett spannmålsmagasin, en liten byggnad som användes för att lagra spannmål, flyttades till den plats som för närvarande upptas av Park Street Church. Alla begravningar upphörde vid Granary 1880.
Granary Burying Grounds innehåller cirka 2 345 gravstenar och gravar, även om det uppskattas att 5 000 personer är begravda på platsen. Gravstenarna är huvudsakligen av skiffer, med några få i grönsten eller marmor.
Den ursprungliga slumpmässiga konfigurationen av gravstenarna har under årens lopp lagts om till rakare rader för att tillgodose både 1800-talets estetik och den moderna gräsklipparen. Under mitten av 1800-talet genomfördes många landskapsprojekt i Granary, inklusive installation av gångvägar för fotgängare och plantering av skuggande träd och buskage.
Tusentals Bostonbor och notabla personers kvarlevor ligger inom Granarys väggar. Tillsammans med Massachusetts guvernörer, borgmästare och präster hittar besökarna gravarna för tre undertecknare av självständighetsförklaringen: Samuel Adams, John Hancock och Robert Treat Paine, Peter Faneuil, välgörare av det berömda landmärket i centrala Boston, patrioten och hantverkaren Paul Revere, James Otis, revolutionär talare och advokat, och fem offer för Bostonmassakern. Nära mitten av marken finns en 25 fot hög obelisk till minne av Benjamin Franklins föräldrars grav.