Avant 1976, seule la rue aux Juifs, déjà mentionnée dans des Annales rédigées au début du XIIe siècle, conservait le souvenir de la communauté juive médiévale de Rouen.

Mais le 11 août 1976, lors de travaux effectués dans la cour d’honneur du Palais de justice, un engin de chantier perça la voûte d’une cave médiévale. On fit alors des sondages qui permirent de mettre au jour dans la partie orientale de la cour, le vendredi 13 août 1976, les vestiges d’un autre bâtiment roman, plus important, appelé ultérieurement la Maison sublime .

En raison de l’intérêt de cette découverte, deux campagnes de fouilles archéologiques furent organisées. La première, en 1976, permit de dégager les murs nord, ouest et sud de l’édifice. Mais le mur oriental était situé au-dessous de l’escalier monumental de la Cour d’appel ; on ne put le mettre au jour qu’en 1977, après avoir déposé cet escalier.
La découverte, dès 1976, de graffiti hébraïques sur les murs du bâtiment donna rapidement la preuve qu’il avait appartenu à la communauté juive médiévale de Rouen. La protection de ces vestiges exceptionnels a été activement menée ; le bâtiment a été classé au titre des Monuments historiques dès le 1er juillet 1977. Il a ensuite été intégré dans une crypte en béton réalisée par l’architecte en chef des Monuments historiques, Georges Duval.