La Porte Sarrasine, du XIIème siècle, fermait la ville du côté est, sur la route importante qui reliait Brignoles à Grasse, route fréquentée par les paysans, marchands, les pèlerins et les soldats. Le nom de la porte ne fait pas référence aux Sarrasins (même si ces derniers se sont tristement illustrés au Xème siècle par des razzias, enlèvements, demandes de rançons, jusqu’à ce que Guillaume le Libérateur, comte d’Arles, ne les chasse définitivement de leur base arrière de La garde-Freinet – Fraxinetum – après sa victoire éclatante à Tourtour, en 972), mais plutôt à la herse qui la protégeait, qu’on appelait « sarrasine », comme celles en usage à Jérusalem, contre les Sarrasins cette fois. Cette porte faisait partie de l’ensemble défensif bâti par les Templiers, et fermait notamment la rue du Ruou où les Templiers avaient installé un entrepôt.
Au-dessus de l’arc en berceau brisé, une niche abrite une statue de la Vierge. En passant sous l’arche, on peut encore voir les emplacements des différends gonds et systèmes de fermeture de la porte.
