El Castillo de Sarracín se halla sobre un cerro, al suroeste de Vega de Valcarce. Visitarlo supone una ruta de unos veinte minutos por un agradable aunque empinado camino rodeado de castaños. A pesar de su estado de ruina progresiva, puede adivinarse una rica historia, cargada de leyenda, y mística como la propia orden que habitó el Castillo, la de los Caballeros Templarios.
Se cree que en este emplazamiento existió otro castillo, anterior a las invasiones árabes, que sería arrasado en el año setecientos catorce por Muza. Por lo tanto, el castillo de Sarracín fue levantado sobre esa edificación anterior. Esta primera fortaleza había estado asociada al conde Sarracino, hijo del conde Gatón. Bien podía haber sido encargada por el propio Sarracino, o bien por el padre en su honor, una vez expulsados los musulmanes. El Conde Gatón sería también el encargado de llevar a cabo las repoblaciones de cristianos en la zona del Bierzo y en la de Astorga.
Su reconstrucción estuvo a cargo del marqués de Villafranca en el siglo catorce. Tras la disolución de la Orden del Temple, el castillo estuvo ocupado por los Valcarce y los Osorio y sus muros de piedra resistieron los ataques de los Irmandiños, que se revelarían en contra de los abusos de poder de la nobleza. De hecho Sarracín jamás fue asaltado. Su escudo, con cinco estacas de roble, alardea de cómo se defenderían ante un posible ataque los Valcarce.
Si miramos desde el Castillo de Sarracín hacia el punto más cercano del río Valcarce, podremos señalar el lugar donde se encuentra “A Cova da Moura”. Aunque hoy se cree que es solamente una cueva natural, hay también quien prefiere pensar que es un verdadero pasadizo que comunica el río con el Castillo, alimentando así el halo de leyenda de esta enigmática fortaleza.