En la parte más alta de la localidad, se alza el  impresionante castillo-palacio de los marqueses de Villafranca,  el más moderno y mejor conservado que podrán contemplar en la comarca del Bierzo, a pesar de los numerosos episodios de saqueo que sufrió a lo largo de los siglos.
Fue levantado entre los siglos quince y dieciséis sobre la base de otro castillo anterior, conocido por el nombre de “Fuerza”, destruido durante  un ataque perpetrado por el hijo ilegítimo del conde de Lemos, Don Pedro Álvarez Osorio, en mil quinientos siete. No será hasta quince años después, cuando se inicie su reconstrucción de la mano del que fue el segundo marqués de Villafranca, Don Pedro Álvarez de Toledo.
A comienzos del siglo diecinueve, en plena guerra de la Independencia,  el castillo volverá a ser asaltado por las tropas inglesas durante su avance hacia Lugo.  Un hecho que repetirá, años más tarde, el ejército francés instalado en la zona. Hoy en día sigue estando habitado por los herederos de los marqueses de Villafranca.
Presenta planta rectangular, casi cuadrada, con cuatro robustos torreones circulares en sus esquinas, que no sobrepasan en gran medida la altura de la edificación, de tres plantas, y que se rematan con sencillas cubiertas cónicas de pizarra.
De su estructura podemos deducir que fue concebido para la vida palaciega, y no tanto para desarrollar funciones defensivas. Su pasado aristocrático ha dejado huella en sus muros,  adornados con numerosos escudos de los diferentes linajes que residieron en su interior, como los Osorio o los Zúñiga.
Erigido originariamente en mampostería, actualmente pueden verse fragmentos de muro de ladrillo, como el arco de medio punto que enmarca la puerta de acceso al recinto.
Sin duda, el conjunto se encuentra realzado por la enorme belleza de una de sus torres, la del homenaje; almenada en su remate superior, posee una trabajada cornisa de arquillos de ladrillo y piedra, sobresaliendo en la edificación por su elegancia y simplicidad.