El sitio de la Selva de Mar, como todos los cercanos al litoral, sufrió el peligro de la piratería durante muchos siglos. Ya en 1397 los vecinos pidieron al abad de San Pedro de Rodas, señor del lugar, permiso para levantar la fortaleza que todavía se conserva en la cima de la antigua iglesia de San Esteban, hoy de San Sebastián, ya que «en tiempo pasados» hacían constar que habían sido «robados, destruidos y maltrechos por sarracenos enemigos de la cruz…». En la segunda mitad del siglo XVI se hacía construir las cuatro torres —y rastros de otra— que se conservan actualmente integradas en el núcleo urbano de la villa.
- Plaça Constitució, 17489 la Selva de Mar, Catalunya Espanya42º19'26''N 3º11'11''E