L'origine del castello di Vignoni risale all' XI° secolo, quale possedimento dell'Abbazia di S.Antimo. Nella prima metà del secolo successivo fu dei Tignosi di Rocca d'Orcia, ma il potere di Siena avanzava già le sue pretese, tanto che nel 1207 Vignoni figurava fra le terre obbligate al versamento di una imposta straordinaria.

Nell'attuale borgo fortificato si puo' ancora notare una torre, ora mozzata, dotata di una forte e ampia scarpatura e sormontata da un redondone e alcune finestrelle. Questo era il mastio, cuore del fortilizio. Anche una delle antiche porte di accesso al recinto murato è ancora perfettamente intatta, accanto alla chiesa di San Biagio. Fuori la porta la vista sulla valdorcia è mozzafiato, sulla sinistra svetta il campanile a vela della chiesa e sulla destra il tratto meglio conservato delle mura, con la torre d'angolo, realizzata con le stesse caratteristiche del mastio.