Villalonga tuvo su origen en diversas alquerías musulmanas agrupadas en torno a este Castillo. Tras la conquista cristiana mantuvo su población originaria, y Jaime I concedió su señorío a Arnau de Romaní en 1259. Posteriormente pasó a ser propiedad de los Llançol (s.XV), y más tarde formaría parte del ducado de Gandia, ya que en 1621 Felipe III hizo donación de todas las jurisdicciones a Carlos Borja, cuyos descendientes ostentarían el señorío hasta el s.XIX.
El castillo de origen musulmán, se trata de un recinto amurallado doble de dimensión media. En la parte noroeste quedan los restos de lo que debió ser su torre mayor. También se mantiene en pie una pared de muralla que aún conserva sus almenas, así como una cisterna de aprovisionamiento de agua Fue uno de las fortalezas que se rindieron tras la toma del Castillo de Bairén por Jaime I. Actualmente el Castillo es de propiedad privada y se encuentra en un estado de claro deterioro y avanzado abandono y ruinas
