L’imponente cinta muraria è uno dei più completi esempi di architettura militare medievale e rinascimentale della Maremma e forse dell’intera
Toscana. L’edificazione ha avuto due fasi distinte: una Aldobrandesca e una senese. La parte lato sud-est e lato Nord è stata innalzata dai conti Aldobrandeschi tra il XIII e il XIV secolo. Nel 1327 in seguito ad un incendio subì gravi danni. Nel 1373 i Senesi ricostruirono gran parte delle mura completando nel XV secolo il lato sud-occidentale con torrioni circolari e camminamento delle guardie.