Nel 1070, Ruggero il Normanno fece costruire una torre in posizione strategica per il controllo del territorio. In questo periodo cominciò a formarsi il borgo che in età sveva è conosciuto col nome “borgo nuovo” e che rappresenta il nucleo primitivo della città medievale. Gli Svevi, succeduti ai Normanni con Federico II, diedero nuovo impulso ai lavori di fortificazione, aggiungendo altre strutture all’edificio che cominciò così ad assumere l’aspetto del Castello. Alla fine del XIII secolo, sotto gli Angioini, fu rafforzato il sistema difensivo. A questo periodo è da ricondurre la costruzione di una cisterna e della chiesa intitolata a S. Michele, di cui restano visibili i ruderi dell’abside. Ulteriori rifacimenti furono apportati all’edificio in età aragonese e sotto il dominio dei Pignatelli, nel XVI secolo; di questo casato resta lo stemma sul portone dell’ingresso centrale. Sottoposto a varie campagne di restauro, l’edificio, ora di proprietà dello Stato, ospita il Museo Archeologico Nazionale “Vito Capialbi”.