L'église du Saint-Sépulcre telle que la visitent les pèlerins du XIIe siècle est le résultat de constructions de diverses époques. C'est en 313, lorsque Constantin apporte son soutien aux chrétiens, que le tombeau du Christ, enfoui jusque- là sous les temples païens du forum de Jérusalem, est remis au jour. Le tombeau lui-même est séparé du rocher qui le jouxte et enfermé dans une rotonde, sous un dôme de bois. A l'ouest, on édifie une grande église pour les fidèles, séparée de la rotonde par une cour à colonnades qui englobait le rocher du Calvaire et les autres lieux de la Passion.
Grâce à la vigilance de l'Église orthodoxe, le culte chrétien peut s'y maintenir jusqu'en 1009, malgré la prise de la ville par les musulmans en 638. En 1009 cependant, le calife dément al-Hakim rase l'église bâtie sous Constantin : ce n'est qu'entre 1042 et 1048 que Constantin IX Monomaque, empereur byzantin, fait construire cour et rotonde.
Après la prise de Jérusalem en 1099, la nouvelle église byzantine ne peut suffire aux flots croissants de pèlerins qui arrivent en ville. En cinquante ans, l'édifice est transformé en église romane, on achève de bâtir le campanile, le dôme surmontant l'enceinte, et le cloître des chanoines.
Le 15 juillet 1149 est consacré le choeur des croisés, qui remplace l'ancienne cour à ciel ouvert reliant la rotonde à l'église de Constantin.
Au nord de l'église, on trouve la chapelle Sainte-Marie, deux chapelles contenant des reliques de la Sainte-Croix, et la prison du Christ. Le déambulatoire de l'abside comporte lui trois chapelles (dont une consacrée à saint Longin) commémorant le couronnement d'épines, le partage des vêtements et la flagellation. A l'est de ces chapelles, en dehors de l'église et sous le cloître des chanoines, se trouve la chapelle Sainte-Hélène, mère de Constantin, ainsi que la citerne creusée dans le roc même où celle-ci, dit la légende, trouva des reliques de la Sainte-Croix.
Pour l'inauguration de la nouvelle basilique on grava sur la porte de bronze des inscriptions en lettres d'or où l'on lisait quelle conscience on avait de terminer cette oeuvre le jour même du cinquantenaire de la victoire : " Ce Lieu saint a été consacré par le sang du Christ, notre propre consécration ne peut donc rien ajouter à sa sainteté. Mais l'édifice élevé autour de ce sanctuaire et au-dessus a été consacré le 15 juillet par le patriarche Foucher dans la quatrième année de son patriarcat et par d'autres prélats et pour le cinquième anniversaire de la prise de la ville qui à cette époque resplendissait autant que l'or très pur. C'était en l'an 1149 de la naissance de Notre Seigneur ".
De nombreuses pièces d'orfèvrerie ou des réalisations architecturales ont été édifiées à la ressemblance du Saint-Sépulcre, parfois simples édicules, parfois plus élaborées, des "Jérusalem " qui évoquent la topographie réelle ou mystique de la cité. Car il s'agit moins de méditer sur la Passion du Christ que de prier dans l'imitation matérielle d'une relique insigne, le Saint-Sépulcre. Sur ce plan, le rôle des pèlerins de Terre sainte a été primordial.