Městští úředníci vyčlenili pro pohřbívání část tehdejšího Boston Common, aby pomohli odlehčit přeplněnému pohřebišti King’s Chapel Burying Ground. Dnešní název Granary Burying Ground získal v roce 1737, kdy byla sýpka, malá budova sloužící ke skladování obilí, přemístěna na místo, kde se v současnosti nachází kostel na Park Street. Veškeré pohřbívání na Granary bylo ukončeno v roce 1880.
Pohřebiště Granary Burying Grounds obsahuje přibližně 2 345 náhrobků a hrobek, ačkoli se odhaduje, že na tomto místě je pohřbeno 5 000 osob. Hrobové nápisy jsou převážně z břidlice, několik náhrobků je ze zeleného kamene nebo mramoru.
Původní chaotické uspořádání náhrobků bylo v průběhu let přeskupeno do rovnějších řad, aby vyhovovalo estetice devatenáctého století i moderní sekačce na trávu. V polovině devatenáctého století bylo v sýpce provedeno mnoho terénních úprav, včetně zřízení chodníků pro pěší a výsadby stinných stromů a keřů.
Ve zdech sýpky leží ostatky tisíců bostonských občanů a významných osobností. Vedle massachusettských guvernérů, starostů a duchovních zde návštěvníci najdou hroby tří signatářů Deklarace nezávislosti: Samuela Adamse, Johna Hancocka a Roberta Treata Painea, Petera Faneuila, mecenáše slavné památky v centru Bostonu, vlastence a řemeslníka Paula Revereho, Jamese Otise, revolučního řečníka a právníka, a pěti obětí bostonského masakru. Poblíž středu země stojí 25 stop vysoký obelisk připomínající hrob rodičů Benjamina Franklina.