Miután i.e. 31-ben Augustus elfoglalta Egyiptomot, új divat tűnt fel a római temetkezési szokásokban: mindenki saját piramist akart magának.

Nem volt ezzel máshogy Gaius Cestius sem, i. e. 12-ben meghalt néptribunus és preator. Gaius Cestius egyike volt a septemviri epulones-nek, amely az egyik legfontosabb tisztség volt Rómában, ők feleltek ugyanis az isteneknek szervezett ünnepségekért és játékokért.

Amikor a piramis megépült, akkor még a városon kívül volt, mert tilos volt a városfalakon belül sírt építeni. Róma azonban addig nőtt, hogy a 270-es években új városfalat kellett építeni. Ekkor Cestius piramisát is beleépítették a falba.

A piramis egyike a legjobban fennmaradt ókori római építményeknek. 36 méter magas, és márványból készült, a temetkezési kamra falait nimfákról készült freskók borították.

A bent tárolt kincseket sajnos a középkortól kezdve kifosztották a sírrablók.

A piramison látható latin felirat jelzi, ki feküdt a sírban, és az is kiderül, milyen tisztségei voltak. Azt is megtudhatjuk belőle, hogy az építkezést az örökösök, köztük Gaius Cestius felszabadított rabszolgája intézték 330 nap alatt.

Nem Gaius Cestius síremléke volt az egyetlen piramis Rómában. Állt egy másik a Vatikánhoz közel, amelyet VI. Sándor pápa bontatott le, hogy a Szent Péter bazilika lépcsőihez használják az építéséhez használt márványt. A középkorban azt a piramist Romolus síremlékének hitték, Gaius Cestiusét pedig Remusénak.