Il borgo di Torre Alfina, la cui storia si intreccia indissolubilmente a quella del castello sin dall’Alto Medioevo, si staglia a 602 metri sopra il livello del mare in uno spazio geografico che bacia ben tre regioni: Umbria, Lazio e Toscana. a storia di Torre Alfina è tutt’una con quella del suo castello. Il borgo nasce infatti nell’alto medioevo attorno a una torre d’avvistamento già esistente sul punto più elevato dell’altopiano dell’Alfina.
nel VIII sec., secondo i Comentari Historici di Monaldo Monaldeschi, sarebbe stato Desiderio, ultimo re dei longobardi, a costruire la torre centrale, detta del cassero, intorno alla quale è sorto il borgo; gente dei luoghi vicini avrebbe cercato riparo intorno a questa torre fatta in fortezza.

Tra le mura medievali dipinte dei colori tipici dei borghi della Tuscia Viterbese, conserva molte chiese e un ospedale per i pellegrini.