Ještě v době stavby se kopec, na jehož vrcholu chrám stojí, začal nazývat Kalvárie. Postupem doby zde vzniklo několik dalších velmi zajímavých sakrálních objektů s mnoha biblickými upomínkami na Kristovu mučednickou smrt a pozoruhodná křížová cesta vedoucí od kostela Všech svatých v obci do chrámu na vrcholu. Od doby, kdy zde byl vybudován takový ojediněle velký barokní komplex sakrálních staveb s námětem Utrpení Páně, stalo se toto místo doslova magnetem pro velké množství poutníků. Významné výročí jaroměřické Kalvárie si budou místní a především věřící lidé připomínat po celý letošní rok. Vyvrcholením budou dvě tradiční kalvárské poutě, první osmnáctého a devatenáctého května a hlavní pouť, spojená s oslavou tří set let od posvěcení chrámu, v polovině září. 

Poutnímu místu Kalvárie je tři sta let. Většina historiků označuje jako autora chrámu slavného architekta Giovanniho Santiniho.