Edifici aïllat que a la façana hi té un portal d’arc de mig punt. Al seu costat, s’alça la torre quadrangular que al primer pis té una finestra coronella, biforada d’arc de mig punt i amb impostes incurvades. La columna i el capitell, amb decoració floral i geomètrica, estan ben conservats. A la part baixa hi veiem algunes espitlleres. Els altres cossos del palau i les voltes no existeixen; s’han enfonsat a causa del pas del temps. Fou possessió dels ardiaques d’Empúries i de Besalú. Els elements conservats de l’antic castell de Palau Sardiaca daten del segle XIV. El palau es trobava en estat de ruïna al segle XV, quan es va reconstruir. També hi ha constància d’una altra restauració efectuada el 1626, com podem veure en una llinda que té la data i l’escut dels Cartellà. La torre va conservar-se en tota la seva alçària original fins als anys 1936-1939, quan va caure la part alta.