Declarado Monumento Histórico Artístico Nacional en 1962. También se le conoce en menor medida con el nombre de Palacio de los Jáudenes por el nombre de uno de sus propietarios. Hoy día es sede de la Diputación Provincial al ser adquirido en 1952 a sus últimos propietarios. Su actual nombre lo toma por haber sido la sede y residencia del Bayle General, (magistrado de la administración de la hacienda y patrimonio del rey, en el Reino de Valencia).

Su construcción se sitúa en el siglo XVI en estilo gótico renacentista, sobre un inmueble anterior de los siglos XIV o XV. En un manuscrito del siglo XVIII firmado por Antonio Suárez nos dice que el palacio lo mandó edificar el propio rey Carlos I para albergar el Bayle General. Según este autor la portada lucía una inscripción que decía: "... en tiempos del invicto Carlos V, Augusto Emperador Romano, rey I de España, 1554".

Su historia más reciente arranca hacia 1840 cuando el edificio era sede de la Bailía general y residencia del baile. En 1868 la institución de la Bailía desaparece y el palacio queda vacío de contenido y personal. En 1883 el palacio es adquirido por el industrial y financiero catalán afincado en Valencia, José Jaumandreu y Sitges († Valencia 24-12-1901). Este encarga al maestro de obras Vicente Alcayne Armengol la total reforma del palacio. Su actual fisonomía se la debemos a este momento de la intervención, ya que gran parte de la anterior construcción fue derribada en 1884. Pocos elementos quedaron de épocas anteriores, los más visibles, los cuatro grandes arcos rebajados góticos del patio interior. Este dispone de una escalera neogótica de dos tiros que dan paso al piso superior y un acceso al jardín en la parte trasera. Los ventanales que asoman a este patio interior son recreaciones neogóticas. En obras efectuadas en el jardín se han localizado tumbas y osarios de lo que fue el fossar de san Bertomeu.

El comedor de este nuevo palacio estaba decorado con pinturas de Ignacio Pinazo Camarlench del que el financiero era gran admirador y amigo; una vez restauradas las pinturas, estas continúan en su lugar original. Pinazo y Jaumandreu eran amigos, este permitió al pintor residir en su villa de Bétera mientras duraba la epidemia de cólera de 1885. El pintor agradecido retrató a la familia Jaumandreu en una serie de tres pinturas como alegorías de las estaciones del año y la cuarta estación a un socio del industrial. Precioso el óleo de María, hija de Jaumandreu, como alegoría de la primavera.

En 1904 el palacio es adquirido por la familia Jáudenes, condes de Zanoni, quienes encargan al arquitecto Luis Ferreres Soler nuevas modificaciones en el edificio y quienes también colocan el escudo nobiliario en la fachada. En la portada principal encontramos el escudo de armas surmontado por la corona condal que timbra el escudo y que hace referencia al condado de Zanoni cuyo primer titular fue Luis María Jáudenes y Rodrigo, título concedido en 1870 por el rey Amadeo I de Saboya. Los cuarteles del escudo responden a las armas de los Jáudenes, Rodrigo, Zanoni y Soto (Luis María Jáudenes y Rodrigo de Zanoni Soto).