El actual palacio se construyó tras el incendio que sufrió en 1285. Los vizcondes de Rocabertí decidieron trasladar la ubicación del palacio extramuros. Hacia el s. xiv se empezó la construcción del palacio gótico, aunque se conservan pocos vestigios, dado que ha sido restaurado en varias ocasiones. Buena parte de las remodelaciones se llevaron a cabo en los siglos xvi-xvii. En el siglo xviii se rehízo el interior y, a partir de 1875, los últimos condes de Peralada encargaron un proyecto de remodelación al arquitecto francés Grant. A este periodo corresponden las intervenciones neomedievales, el jardín, proyectado en 1877 por François Duvilliers, y la comunicación con los terrenos del convento del Carme —que había pasado a manos de los condes tras su desamortización en 1835. El palacio y el convento los adquirió en 1923 el financiero barcelonés Damià Mateu, que los habilitó como residencia y museo particular. Sus sucesores reconvirtieron una parte del palacio en museo y casino.