Durante la época de los grandes castillos medievales, la ciudad de Sarria estuvo rodeada por una fortaleza construida en el siglo trece por lo Condes de Lemos.

Presentaba fosos defensivos y un puente levadizo que regulaba los accesos. A modo de vigilancia también se levantaron cuatro torres, de las que tan sólo se conserva ésta.

Durante las revueltas irmandiñas, en las que los campesinos se alzaron contra la opresión señorial, fue derribada en una batalla contra los Osorio, nobles de Sarria a los que acusaban de cometer constantes abusos contra el campesinado, que era la población mayoritaria.

Años después, el propio Pedro Osorio mandó reconstruirla.

El acceso se realiza por una escalinata que asciende hacia una puerta, en la que están dispuestos los escudos de dos familias, el de los Lemos y el de los Castro.

Las torres restantes corrieron peor fortuna, no pudiendo sobrevivir a las batallas. Las piedras de las torres, y las cercas que rodeaban la fortaleza, fueron reutilizadas durante el siglo diecinueve para llevar a cabo otras construcciones. Habían perdido su funcionalidad como elemento defensivo, por lo que se recuperaron para otras edificaciones adaptadas a las nuevas necesidades.