Nos encontramos en la Plaza del Conde, mandada construir por Alfonso Once, en el mil trescientos. En ella se sitúa el palacio de los Condes de Luna, un castillo-fortaleza levantado en el siglo catorce sobre la muralla antigua, de la que aún quedan vestigios en este lugar. De este edificio tan solo se conserva una parte de la fachada.
Construido con piedra de sillería, presenta una portada de estilo gótico. Un arco apuntado permitía el acceso. En el tímpano fueron labrados tres escudos diferentes, destacando el central de la familia de los Quiñones.
En el cuerpo superior se abre un vano con pequeños arcos que recuerda a la arquitectura del período ramirense.
A esta fachada se le une una torre cercana, datada en el siglo dieciséis y que también formó parte del Palacio.
El edificio, que a lo largo de su historia tuvo usos tan diversos como almacén, funeraria, mercado de frutas o sede de un tribunal de la Inquisición, ha sido recientemente rehabilitado dotándolo de nuevas instalaciones municipales.