Intorno alla fine del XI secolo castelli e torri si dispongono sul territorio e si affiancano alla più antica organizzazione religiosa delle pievi.
In posizione strategica, a dominare la fitta rete di strade che collegava la pianura intorno a Firenze con il Mugello ed i valichi appenninici, le rocche fortificate circondate da mura in pietra o in terra battuta e perfino da palizzate, dominavano la Val di Marina, simbolo minaccioso di una nuova aristocrazia aggressiva e spregiudicata ma anche vivace e fortemente intraprendente.
A partire dalla fine del XII secolo, la città di Firenze occupa progressivamente le campagne circostanti ma non smantella le opere militari difensive: torri e castelli restano a protezione del contado, come testimonia un documento del 1305 che descrive un ingegnoso sistema di segnalazioni con fuoco e fumo dalle torri di Calenzano al Palazzo del Bargello di Firenze.
Questa fitta rete di fortificazioni aveva il suo caposaldo nel Castello di Calenzano a cui si affiancavano il castello di Sommaia, il castello di Travalle, il Castello di Legri ed una rete di rocche e torri d’avvistamento.
Sui frastagliati poggi della fascia collinare centro-orientale di Monte Morello, a sinistra della Marina e ben visibili tra di loro, erano Leccio, Sommaia e Loiano, mentre la difesa del territorio sulla riva opposta della Marinella di Legri era affidata al Torraccio ed alla Torre di Collina.
Legati in modo indissolubile alla loro funzione militare a controllo della viabilità, i castelli e le torri disseminate nel territorio degradarono lentamente con la trasformazione del sistema viario che, già a partire dalla fine del duecento, portò a preferire la viabilità di valle a quella di mezza costa o di crinale. Calenzano ed il suo territorio persero così il loro ruolo di avamposto militare per rivestire sempre più ed unicamente la funzione di centro agricolo.