La Fortezza della Brunella deve il proprio nome al colore della roccia su cui è edificata.
Si erge alla confluenza del fiume Magra e del torrente Aulella, a dominio di entrambi le valli e in corrispondeza visiva con i castelli di Bibola a sud, Podenzana a est, Olivola e Bastia a ovest.
Delle diversi ipotesi sulla sua costruzione, una riguarda la committenza di Jacopo Ambrogio Malaspina, signore di Aulla, verso la fine del XV secolo, forse la più accreditata vista la tipologia architettonica legata al periodo.
Una seconda ipotesi indica Giovanni delle Bande Nere della famiglia dei Medici come committente della fortezza a Giovanni di Sangallo il Vecchio, all'inizio del XVI secolo. Infine, una terza supposizione parla di Adamo Centurione, uomo d'affari genovese che comprò il feudo di Aulla nel 1543.