Stadsambtenaren maakten een deel van wat toen nog de Boston Common was, vrij voor begrafenissen om de overbevolking van de nabijgelegen King’s Chapel Burying Ground te helpen verlichten. De Granary Burying Ground kreeg zijn huidige naam in 1737 toen een graanschuur, een klein gebouw dat werd gebruikt om graan op te slaan, werd verplaatst naar de plaats waar nu de Park Street Church staat. Alle begravingen in de Granary werden in 1880 gestaakt.
De Granary Burying Grounds bevat ongeveer 2.345 grafstenen en graven, hoewel er naar schatting 5.000 mensen op deze plaats zijn begraven. De grafstenen zijn voornamelijk van leisteen, met een enkele van groensteen of marmer.
De oorspronkelijke lukrake opstelling van de grafstenen werd in de loop der jaren herschikt in rechtere rijen om tegemoet te komen aan zowel de negentiende-eeuwse esthetiek als de moderne grasmaaier. In het midden van de negentiende eeuw werden in de graanschuur veel groenaanlegprojecten uitgevoerd, zoals de aanleg van voetpaden en de aanplant van schaduwbomen en struiken.
Binnen de muren van de graanschuur liggen de stoffelijke resten van duizenden burgers en notabelen van Boston. Naast gouverneurs van Massachusetts, burgemeesters en geestelijken, vinden bezoekers de graven van drie ondertekenaars van de Onafhankelijkheidsverklaring: Samuel Adams, John Hancock en Robert Treat Paine; Peter Faneuil, weldoener van het beroemde monument in het centrum van Boston; patriot en ambachtsman Paul Revere; James Otis, revolutionair redenaar en advocaat; en vijf slachtoffers van het bloedbad van Boston. In het midden van het terrein herinnert een 25 meter hoge obelisk aan het graf van de ouders van Benjamin Franklin.