La leggenda narra che le sue origini risalgono al lontano 543 d.C. quando l'ostrogoto Arrigo, luogotenente del re Totila, impegnato con le sue truppe nell'assedio di Perugia, decise di fermarsi a Castel Rigone con il suo esercito e costruire un primo insediamento fortificato. È proprio dal nome di Arrigo che forse il borgo assunse il nome Castel Rigone, per rendere omaggio al suo fondatore, chiamato anche Rigone.

Il castello, che costituisce l’attuale centro storico, si presentava come un paese fortificato cinto di mura con porte e torri di difesa, nulla a che vedere con i manieri a nido d’aquila dei potenti feudatari.