En el barrio de Elsedo, en la población de Pámanes, edificó Francisco de Hermosa su magnífico palacio a principios del siglo XVIII. De aspecto sobrio y elegante, destaca del conjunto su torre octogonal y su espléndida capilla. En la actualidad guarda en su interior un importante museo de arte moderno de propiedad particular.

El palacio de Elsedo se construyó entre 1710 y 1715, a instancias de Francisco de Hermosa y Revilla, primer conde de Torre-Hermosa, caballero de Calatrava y alto dignatario de Felipe V, quien mandó elevar la capilla y reedificar la vieja casa solariega. Su original diseño se debe al arquitecto Francisco Agüero, nacido posiblemente en Pámanes. Entre sus obras se encuentran la colaboración en la construcción de la Capilla de Alfonso el Casto y el Panteón Real en la Catedral de Oviedo. La entrada al palacio se realiza a través de una portalada con pilastras acanaladas, con arco de medio punto coronado con un escudo con las armas de Avellano y Hermosa, con la divisa: “Hermosa hazaña hiciste, conde Federico”.

La planta del palacio es relativamente complicada, con edificaciones unidas, pero con cierta independencia. A la derecha de la portalada, encontramos un edificio bajo con pórtico de dos arcos, del cual arranca la escalera; al lado, otro edificio más alto, con pocos huecos y reforzado con un machón circular en uno de sus ángulos. Al fondo, otra pequeña construcción dedicada a caballerizas. Formando fachada con el primero de los edificios citados, tenemos la torre octogonal, y algo más retirada, la capilla, de cruz latina con cabecera poligonal.

El estilo en general es sobrio y elegante, con ligeras influencias vitruvianas en el uso del almohadillado, la utilización de la columna o la sillería bícroma. La torre, es lo más interesante del palacio. Su planta octogonal, innovación en la región, le confiere una especial esbeltez. Cada uno de los tres pisos está indicado por dos hiladas de piedra roja. La cornisa conserva gárgolas decorativas de tradición gótica, y sobre ella, un antepecho de hierro es sostenido por pilastrillas de piedra que rematan en pináculos platerescos.

La policromía de la torre se acentúa en los sillares almohadillados de la capilla. En su interior, se guardan los sepulcros del fundador y su hija, así como los de Agustín Hermosa y su hijo.

En la actualidad, gran parte del palacio está dedicado a museo de arte moderno.

El museo de Elsedo presenta la colección de arte Español contemporaneo de 1.900 en adelante. los Fondos están divididos en cuatro grupos:
Naturaleza Muerta, Objeto, Vida real.
Historia, Memoria, Sociedad.
Paisaje, Materia, Entorno.
Desnudo, Acción, Cuerpo.

Podemos observar obras de destacados artistas como: Pablo Serrano, Berrocal, Chillida, Vázquez Díaz, María Blanchard, Gutiérrez Solana,  Pancho Cosio, Lucio Muñoz, Ramón Calderón, Francisco Bores, Manuel Viola, José María Yturralde, Ignacio Zuloaga, Joan Miró, Pablo Picasso, etc.