Aunque existen pocos datos sobre el origen de Andilla, numerosos restos arqueológicos encontrados en el término atestiguan que estuvo poblada por culturas anteriores a la Edad de Bronce. Sobre el peñasco que domina la villa de Andilla se ven ruinas de la fortificación árabe del siglo XI. De su pasado árabe y medieval quedan huellas cerca de la villa: dos acueductos, restos de calzada, molinos y varias cruces. El portal de la muralla es un edificio noble construido en la parte oeste de la villa, en sillería de piedra arenisca con arco de medio punto y escudo en la clave del arco, perteneciente al primer barón de Andilla, Ximén Pérez de d’Arenós. Actualmente, el torreón alberga el Museo Arqueológico Municipal.
