La capella del port la va construir Joan Tresserres, segons diu la llegenda, al segle XVII, després d’una promesa que va fer a alta mar. La llegenda diu que, després de sobreviure a un temporal fortíssim, Joan Tresserres va prometre que allà on pogueren amarrar la nau edificarien una capella. Aquest indret va ser el port de Llançà i per aquest motiu s’hi va aixecar la capella. Al costat de la capella de la Mare de Déu del Port hi trobem el cementiri vell de Llançà, on es guardà durant molts anys el fragment de columna de marbre esculpida pel Mestre de Cabestany, procedent de la portada de l’església de Sant Pere de Rodes i que avui és al Museu de l’Empordà de Figueres. A l’altre costat hi trobem la pineda del Port, sota la qual a primers de setembre s’hi celebra l’Aplec de la Capella.