Si tratta di un importante castello costruito sulla sommità di una collina che domina il Torrente Pavone.
Il centro conserva ancora quasi intatto il suo aspetto medievale, sia nella cerchia di mura che circonda il borgo, dominato da un alto torrione che si trova sulla parte più alta della collina, che nella struttura urbanistica, che divide il paese in vari settori concentrici. Il castello fu fondato nel corso del XIII secolo dal vescovo di Volterra in accordo con i conti Pannocchieschi, insediandovi abitanti provenienti da altri castelli dei dintorni che furono abbandonati e distrutti.
La Torre Pannocchieschi a Montecastelli somiglia molto da vicino alla Torre Belforti che svetta sul profilo di Montecatini Valdicecina. Vicino alla torre si può notare la bellissima chiesa romanica (sec- XII) dedicata ai santi Jacopo e Filippo , che si erge in cima ad una massiccia scalinata e che rivolge la sua facciata verso l’interno del paese. Sulla destra si erge il campanile a struttura quadrata.

Il paese sorge su un poggio di fronte alla Rocca Sillana e colpisce per la sua atmosfera, che appare letteralmente persa nel tempo e lontana da tutto. Per visitare il borgo basta una piccola camminata, ci sono solo un gruppo di case e due strade, ma arrivare quassù vale davvero la pena, per lo spettacolo della Rocca Sillana e della valle del Torrente Pavone, per vedere la bella facciata della chiesa e per gustarsi lo splendido panorama dela Valdicecina.
All’interno del borgo è presente anche un piccolo Museo della Civiltà Contadina, visitabile su richiesta, che raccoglie in due stanze oggetti di vita quotidiana e strumenti di lavoro.
Poco fuori dal paese, in direzione Castelnuovo, è possibile visitare la Buca delle Fate: un ipogeo etrusco (VI sec. a.C.) di dimensioni ridotte ma ben conservato e aperto al pubblico.
Al fondo della stretta gola che separa il borgo di Montecastelli dalla Rocca Sillana, lungo il Pavone, ci sono ancora gli iponenti resti ottocenteschi di una miniera di rame e argento di cui si hanno notizie già dal 1300. I grandiosi resti degli impianti rappresentano uno dei più interessanti esempi di archeologi industriale del territorio volterrano.