L'antico Castello, eretto in epoca longobarda su un sito etrusco e poi romano, demolito una prima volta dai goti di Totila nel 548 d.C., già nel Mille era considerato imprendibile.

Ebbe il massimo splendore nell'alto medioevo per potenza militare e religiosa.
Anticamente composto da un nucleo fortificato ed un monastero, fu dimora nobilissima di numerosi Casati. Tra di essi gli Scifi conti di Sassorosso, da cui discende S. Chiara d'Assisi, famiglia di orgine imperiale al seguito di Federico II, a cui l'imperatore concesse il castello come feudo.