Rabé de las Calzadas cuenta con un recepcionista muy especial. Uno vestido con un traje de piedra de líneas sobrias: la torre del palacio. Situado a la entrada del pueblo, frente al edificio escuela, el palacio es uno de los edificios más emblemáticos de Rabé. Construido en los primeros años del siglo diecisiete, en él predomina lo arquitectónico sobre lo escultórico. El conjunto está formado por un edificio palaciego de buen tamaño, con fachadas de piedra de sillería.
La puerta principal está flanqueada por dos torreones. El de la parte izquierda no se encuentra en tan buen estado, ya que no ha sido reparado. El del ala derecha es el que presenta mejor aspecto y el que llama más la atención. Encima de la puerta, el dintel con el escudo del conde de Villariezo, el primer propietario. Los torreones flanquean el paso a un amplio patio ajardinado.
El torreón rehabilitado dispone, en la planta baja, de una arcada renacentista en buen estado de conservación. Se mantienen idénticos a los de la época el suelo y los detalles arquitectónicos. Las habitaciones tienen restos de pinturas decorativas y del techo artesonado. Una pequeña muestra, tan solo, de los viejos días de lujo en el palacio.