El lloc de la Selva de Mar, com tots els propers al litoral, patí el perill de la pirateria durant molts segles. Ja el 1397 els veïns demanaren a l’abat de Sant Pere de Rodes, senyor del lloc, permís per aixecar la fortalesa que encara es conserva al cim de l’antiga església de Sant Esteve, avui de Sant Sebastià, ja que «en temps passats» feien constar que havien estat «robats, destruïts e malmenats pe sarrains enemichs de la creu…». A la segona meitat del segle XVI hom feia bastir les quatre torres —i rastres d’una altra— que es conserven actualment integrades dins el nucli urbà de la vila.
- Plaça Constitució, 17489 la Selva de Mar, Catalunya Espanya42º19'26''N 3º11'11''E