Die alte Kirche St. Peter, im Jahre 1898 abgerissen und 1982 wieder aufgebaut, ist an der Unterseite des Klosters (14. c.) Der Collegiale entfernt. Diese einzigartige historische Kulisse beherbergt die größte Sammlung von merowingischen und karolingischen monolithischen Sarkophage der Schweiz. Sie können auch einige bemerkenswerte architektonische Elemente und Skulpturen bewundern, aus dem alten Gebäude von St. Ursanne.