Les premiers témoignages écrits de la présence des juifs à Rouen remontent au XIe siècle. La plupart d’entre eux vivaient alors au nord-ouest de la ville. Ils cohabitaient avec des chrétiens sur le territoire de trois paroisses : Saint-Herbland, Notre-Dame-la-Ronde et Saint-Lô. Ils étaient ainsi non loin des lieux de pouvoir : l’archevêché, siège du pouvoir religieux, et à partir du début du XIIIe siècle, l’hôtel de ville qui s’est installé rue Courvoiserie (rue du Gros-Horloge) et le château Bouvreuil où résidaient les agents du roi. Leur quartier était traversé d’est en ouest par la rue aux Juifs, déjà mentionnée dans une chronique du début du XIIe siècle.
Une partie de leur quartier a été appelé le Clos aux juifs, après leur expulsion en 1306. Il correspondait à la cour d’honneur de l’actuel Palais de justice. C’est probablement à cet endroit que les bâtiments communautaires avaient été construits.
Leur cimetière se trouvait sur le Mons judaeorum, entre les actuelles rues Saint-Maur et rue Pouchet.