中国文化具有明显的宗法伦理品格，铸器刻铭、为先祖颂功记德是我国由来已久的文化传统。作为墓上附属建置的墓碑，它的产生正是这一传统的直接延续。碑刻研究萌芽于东汉，随金石学的正式诞生，到宋代已初具规模，而有关墓碑的专论则至近代才有出现。直至今日墓碑研究仍只是偏重于证经补史、文字考订和书法鉴赏等层面，对墓碑这一文化产物本身，既缺乏深层次的理论思考，又缺乏具体形制的综合研究，尤其墓碑起源、演变和建立制度等方面的探讨始终是相对薄弱的。

汉代时，竖石又具有另外的一种功能，就是用作举行葬礼的葬具。由于当时贵族官僚墓穴很深，棺停运到墓旁边时，往往在墓的四角设碑，于是，便有墓碑的出现。汉代经学大师郑玄注：丰碑，斫大木为之，形如石碑，于停前后四角树之，穿中，于间为鹿卢，下棺以缕绕，天子六缕四碑。

这里的“丰碑”是砍大木头做成的，形同石碑。棺停下葬时，在墓穴四角各设置一个，碑上有圆形穿孔，孔中系绳，绳子一头绕在轱辘上，一头系在棺椁上，将棺椁平稳地放入墓穴之中，殡仪结束后，这种木碑往往就埋葬在墓穴中。

为此，也可以说，中国的墓碑是起源于古代用作牵引棺椁下葬用的“丰碑”的。它最初是木质，没有文字，从汉代起，人们为缅怀逝者生前的业绩，便利用现成的木碑，在上面书写逝者的生平事迹以及歌功颂德之辞，碑首中间仍凿有圆孔，叫“穿”，这样，墓碑便正式形成了。

对于埋葬亲人的坟墓，一两代内尚可记住，三代以后就不清楚了。尤其经历过战乱、迁徙等颠沛流离的人们，更不知道祖坟在何处了。

为了记住先祖的所在，人们想出了许多办法。起初，人们从下葬死人用的圆木桩中受到启发。在故者墓前插上木桩或竹竿，再系上纤维质的纸或帛，写上死者的生卒年月及时辰，这就是古人所谓的“铭旌”。

随着岁月的侵蚀洗礼，木桩或竹竿容易被损坏。于是人们就想出了另外一个办法，那就是用石圆柱代替木圆桩，人们在石柱上刻上死者的姓名、出生年月、官职等，以此来表示对死者的纪念。

为了在石柱上刻上更多的字，墓碑的形状从圆柱形开始演变为正方形及长方形，埋于墓穴内外。后又参照房屋、建筑的样式，在墓碑顶端加上碑帽，刻上动植物、山水、花纹，碑身刻上死者的生平事迹。

有些墓碑上还会刻上死者是独葬还是与妻、妾、子、女等合葬，附带着会刻有墓穴的朝向及风水。在古代有钱人家的墓碑，通常是雕刻精美的大碑，诸如古帝王陵以及皇亲贵族墓等，穷人家的墓碑往往比较简单，多数是只刻姓名的小石碑。

后来的墓碑因为有了雕刻、墓志铭及装饰品而逐渐转化为文化艺术品。其功能、形态、质地、纹饰也越来越多样化。不少名人墓碑，多用大理石、花岗岩等上等石材刻之，碑顶有死者雕像或在碑中心镶嵌死者的烧瓷像。

如今墓碑已经成为记载死者家族及功德行事的“荣誉状”和“装饰品”了。这一现象很符合国人光宗耀祖、泽被后世、流芳千古的习俗。

为了墓碑不受风吹日晒等自然侵蚀和人为破坏，人们便把碑表立于墓外，将墓志与铭埋于墓内，以便保存得更久远些。