Edificio construido en el siglo XVIII en estilo académico. Consta de planta baja, semisótano, piso entresuelo, piso principal o noble y segundo piso (antiguo desván). La parte baja está construida en sillería mientras que la superior está realizada con ladrillo macizo lucido con rojo vista. La portada de entrada situada en la fachada principal es adintelada, aunque anteriormente lo era en arco de medio punto y en la actualidad carece de escudo nobiliario. La superficie que abarcaba el palacio, ha sido superada con creces, por la adicción de varias casas adyacentes que hace que el mismo ocupe una gran superficie de planta irregular.

Los balcones están realizados en su totalidad en hierro forjado mientras que el sotobalcón lo está con azulejos cerámicos. Los vanos abiertos en la fachada a la altura del entresuelo se cierran con rejería de forja realizadas modernamente, aunque imitando las formas originales. Dispone de un patio interior central alrededor del cual giran las distintas dependencias de la casa y otro patio posterior habilitado hoy día como terraza o jardín. Desde el patio central parte una gran escalera señorial realizada en sillería que lleva a la planta noble.

Durante la guerra civil (1936-1939), el palacio fue utilizado por la Embajada de Suecia. Al finalizar la guerra, la familia Martínez de Vallejo (que ya no residía en el palacio) lo alquilaron a la Escuela de Magisterio hasta que esta tuvo su propia sede en 1961, es entonces cuando el mismo quedó abandonado hasta su rehabilitación. Entre 1994 y 1997 la casona fue rehabilitada en su totalidad y en la actualidad es Colegio Mayor Universitario Rector Peset.

En las excavaciones realizadas bajo el edificio al momento de su rehabilitación, se han encontrado restos de lienzo de la muralla islámica del siglo XI (hoy conocida como sala de la muralla). También se conserva la cúpula con linterna del siglo XIX que corona la caja de la escalera principal. En el arco del vestíbulo de entrada podemos contemplar un mural que lleva por título La visita imposible de Juan Peset, obra realizada en 2007 por el pintor Damián Flores Llanos (* Acehuche, Cáceres 18-08-1963) que conmemora el X aniversario del colegio mayor.