El palacio toma su nombre de Joan de Valeriola, descendiente de Arnau de Valeriola, rico comerciante que hizo fortuna en el negocio de las carnicerías, en la actividad financiera (cambista, prestamista y banquero) y en la política municipal. El último habitante del palacio fue Gaspar de Valeriola que contrajo matrimonio con Anna de Borja, sobrina del papa Alejandro VI.

Construcción realizada hacia el último tercio del siglo XIV dentro del estilo gótico civil o mediterráneo. En el siglo XVIII el palacio sufrió una gran reforma barroca adaptándolo al gusto de la época. En el siglo XIX el edificio fue compartimentado y utilizado como viviendas particulares.

En 2001 cuando el edificio estaba a punto de ser derribado, fue adquirido por la Fundación Chirivella Soriano como sede museística de arte contemporáneo. El arquitecto encargado de la rehabilitación fue Carles Dolç Soriano que sacó a la luz toda la estructura gótica que no se había perdido, y sobre todo, los alfarjes o techumbres de madera originales que se salvaron a construirse bajo ellos falsos techos. En la rehabilitación realizada entre 2003 y 2005 ha primado la total diafanidad del interior dejando solo en pie los muros perimetrales, en lo que ha sido llamado un "palacio sin puertas".

El edificio articula su alzado en planta baja, primer piso o noble y segundo piso o desván. El palacio giraba alrededor de un patio descubierto soportado por arcos rebajados. Este patio quedaba iluminado por la luz cenital que entraba desde la parte superior. En este patio también encontramos el pozo de agua del que se abastecía el palacio. La casa fue posteriormente ampliada con dos nuevas crujías por su ala izquierda, construyendo nuevos arcos del mismo estilo que los originales. Esta sala en planta baja, hoy totalmente diáfana se le denomina "sala de arcos".

El acceso al palacio se realiza por un portalón adintelado, inscrito en un gran arco de medio punto que nos recuerda su estructura gótica original. Una escalera hoy perdida llevaba a los pisos superiores, el primer piso o planta noble mantiene dos ventanas góticas, una trífora y una segunda bífora que asoman al patio interior. Planta baja y piso noble se cubren con techumbres de madera en forma de alfarjes con grandes vigas maestras sustentadas en ménsulas de piedra. En el conjunto de las techumbres destacan por su belleza, antigüedad y colorido, los alfarjes del piso noble, policromados y con pinturas de trazas mudéjares con motivos florales, figuras geométricas, escudos familiares y algunos motivos decorativos mudéjares. Es de lo mejor que tiene el palacio y son coetáneas a la construcción del palacio en el siglo XIV. También se puede destacar en la base del alfarje un friso en letra cúfica (musulmana) parcialmente desaparecido.

La segunda planta carece de interés arquitectónico ya que su fisonomía gótica se ha perdido totalmente, en su lugar se ha habilitado una gran sala diáfana para la exposición de obras de arte. La Fundación Chirivella Soriano que tiene la propiedad del edificio, está formado por el notario valenciano Manuel Chirivella Bonet y su esposa Alicia Soriano Lleó, grandes y buenos coleccionistas de arte contemporáneo.