Fréjus fait partie des premiers évêchés fondés en Gaule avant la reconnaissance du christianisme comme religion officielle ; l’évêque Ursio est attesté en 374 au Concile de Valence. L’implantation à proximité de l’ancien forum d’une église et d’un baptistère marque très tôt le paysage urbain. Une agglomération se constitue peu à peu autour du groupe épiscopal et s’entoure d’une enceinte semi-ovale. A la fin du XIIe siècle, la prospérité économique de la cité profite aux évêques qui agrandissent la cathédrale et fortifient l’ensemble épiscopal dont une des tours, crénelée, domine les toits.