El castillo se asienta sobre un cerro que ya desde la antiguedad contó con un puesto fortificado. La fortaleza que actualmente contemplamos es dificil de fechar. Cuenta con una base ibera y cartaginesa, sobre la que los romanos construyerón una atalaya. La llegada de los visigodos y los musulmanes modificó sustancialmente la fortificación ya existente, que se vió ampliada y engradecida. La siguiente fase constructiva se realizó ya en época cristiana, la cual es lo que ha llegado hasta nosotros, contando con las diversas destrucciones que ha sufrido el castillo a lo largo de su historia.
El Castillo está estructurado en dos zonas, el llamado Castillo Menor (Castell Vell) y el Castillo Mayor (Castell Nou). Mientras el primero prerromano, es ibero o cartaginés, el segundo es de fundación latina. La obra que predomina en ambos es árabe y cristiana, sobre la antigua cimentación prerromána y romana. Las torres y muros son de traza árabe, mientras que las edificaciones son de época cristiana principalmente y están construidas en piedra de sillería. Estan fechadas entre los siglos XIV y XV mientras que el Palacio del Duque de Calabria es del siglo XVI.