Situada en la plaza de Alfonso el Magnánimo, confluencia con la calle Pintor Sorolla y esquina con la calle Poeta Quintana.

En origen el edificio fue un colegio universitario para estudiantes sin recursos, fundado en 1643 por el médico valenciano Melchor de Villena. Se encontraba bajo la protección de los Reyes Magos, por lo que era conocido como "Colegio de la Adoración de los Santos Reyes Magos" o sencillamente "Colegio de Villena" por su fundador. El edificio en el momento de su construcción tenía pared medianera con el convento de Santa Catalina de Siena, su fisonomía es fácilmente visible en el plano del padre Tosca de 1704. El colegio estuvo activo hasta mediados del siglo XIX. Melchor de Villena y Vila (* Carpesa, Valencia 11-02-1564 † Valencia 13-12-1655) era hijo de Cristóbal Villena y Ana Vila, contrajo matrimonio el 26 de abril de 1592 con Caterina Climent Barberá. Fue enterrado en la capilla del colegio.

Con el tiempo el colegio pasará a tener diversos usos y propietarios, en principio con carácter educativo, pero en 1876 consta ocupado por oficinas militares.

A principios del siglo XX, la casa comienza a ser modificada, Vicente Roig en 1905 encarga al maestro de obras Vicente Alcayne Armengol reformas en el edificio: se modifican las fachadas con apertura de nuevas ventanas, se construye una nueva escalera y la vidriera de iluminación. En 1928 será el arquitecto Francisco Almenar Quinzá quien realice obras de reforma en el interior y añada los miradores de las fachadas. Será el promotor de estas obras Vicente Noguera Boronat. Adoptará entonces su actual fisonomía de palacete urbano como residencia familiar de los vizcondes de Valdesoto.

La distribución del edificio quedará con una planta baja, un primer piso noble, dos pisos altos y un ático. La puerta principal recayente a la plaza, es adintelada en piedra. Encima un escudo nobiliario nos habla del pasado de la familia propietaria. Un pequeño zócalo en piedra rodea la parte baja del edificio. La fachada del primer piso o principal es el más decorado, dispone de cuatro balcones adintelados con antepechos de piedra y dos miradores acristalados, uno en cada extremo de la fachada. El resto de las fachadas dispone de numerosos balcones y ventanas con barandas de hierro, unos mas sencillos que otros a excepción de un tercer mirador que recae a la calle Poeta Quintana.

El escudo de la fachada corresponde al marquesado de Castellfort, pero hay que tener presente que anteriormente el vizcondado de Valdesoto y el marquesado de Castellfort, lo llegaron a ostentar la misma persona. Hoy día, el actual vizconde de Valdesoto, Vicente Garrigues Guzmán es hermano de María Eugenia Garrigues Guzmán, marquesa de Castellfort, por lo que ambos títulos han compartido tronco nobiliario común.

El zaguán recibe la luz cenital a través de una claraboya con cristales coloreados, que se encuentra encima de la escalera principal, aparece enlosado y presenta un arco rebajado y bóveda rebajada con nervaduras de crucería en la primera crujía. Las paredes pretenden imitar la piedra. Dispone de un patio interior al fondo del zaguán, que hoy día se dedica a garaje de vehículos, ya que en la actualidad el edificio es utilizado por entidades privadas.