El castillo de Cullera tiene su origen en la época califal (siglo X). El castillo musulmán se articulaba entonces alrededor de una Torre Mayor o Torre Celoquia que vendría a ser para lo que en el mundo cristiano era la Torre del Homenaje. La construcción de un reducto defensivo fue consecuencia del necesario control que las autoridades califales precisaban para la vigilancia de las mercancías que bajaban por el cercano río Júcar, en especial la madera. También era necesario el control de las comunicaciones que discurrían entre poblaciones importantes, como Balansiya, Denia y Alzira.

El lugar escogido para la construcción fue la montaña que asoma al mar y que permitía un amplio control del contorno. Construido sobre la montaña conocida como de "les raboses" o del oro, no se encontraba precisamente en el lugar más alto de la montaña. El castillo de cualquier modo era de tipología más bien pequeña pero suficientemente apto para el fin que se le destinaba.

El castillo se completaba con dos recintos amurallados, también conocidas como albacaras. La albacara era un espacio protegido por murallas pero externo al castillo y que permitía en caso de asedio, la protección de los habitantes con sus rebaños y enseres más preciados. De las dos albacaras, el primero estaría situado aproximadamente donde hoy se sitúa el Santuario de la Virgen del Castillo, mientras que la segunda albacara se encontraba a medio camino en la ladera de la montaña, algunas de cuyas torres son perfectamente visibles. De estas torres destacan: la Torre de la Reina Mora, hoy rehabilitada y donde se situaba la puerta de entrada a la segunda albacara, una segunda torre era la conocida como Torre Miranda, continúan, la Torre del Raço, de la Salud o de Sant Antoni, la Torre Esmotxada (desmochada) y la Torre octogonal. La fecha de construcción de esta segunda albacara se sitúa en el siglo XI cuando la población de Cullera era más numerosa. La construcción de la Torre de la Reina Mora se sitúa a finales del siglo XII o principios del XIII. En el siglo XVII esta torre fue convertida en ermita en honor a Santa Bárbara y actualmente es la mejor conservada de todas las existentes.

Hoy en día, el castillo va ligado intimamente al Santuario de Nuestra Señora del Castillo construido en el siglo XIX en un estilo "neo" por José María Belda. No obstante hay que hacer abstracción del santuario para imaginar como debió ser el castillo a lo largo de su historia, ya que en principio castillo y santuario aunque unidos son dos realidades completamente distintas.

El acceso al castillo se realiza en la actualidad por unas escaleras que ascienden en zig-zag, forma de acceso típicamente musulmana y que dificulta la entrada al enemigo.

El castillo gira alrededor de dos patios, conocidos como Patio de Armas y Patio de las Cisternas. De las distintas dependencias que podemos encontrar destacamos las siguientes:

La primera construcción que sale a nuestro paso una vez traspasada la puerta es la:

Capilla gótica Construida entre los siglos XV y XVI. Adopta forma de "L". Está formada por dos brazos de planta rectangular de tres tramos cada uno de ellos, unidos por un tramo común en su ángulo de intersección. El segundo cuerpo que corre a espaldas de la Torre Blanca es de la segunda mitad del siglo XVI y en un principio se construyó como refectorio sobre un edificio musulmán del que quedan algunos restos. Este edificio debía estar dedicado a almacén y depósito, con almacenes algunos subterráneos de época árabe (siglo XII). Restos de estos almacenes subterráneos podemos verlos todavía protegidos por un cristal y musealizados. La capilla de estilo gótico, se cubre en todos sus tramos con bóvedas de crucería simple. Hoy la capilla está dedicada entre otros usos a Museo Municipal de Historia de Arqueología de Cullera.

Como piezas importantes del museo podemos encontrar una Cruz de termino gótica y un escudo heráldico declarado Bien de Interés Cultural proveniente del Monasterio de la Valldigna.

Patios El castillo dispone de dos patios que en realidad en origen eran uno solo. En una reforma del siglo XVI se pavimentó la mitad del patio (el patio de armas), dejando la otra mitad como Patio de los aljibes, ya que bajo su suelo quedan excavados en la roca dos aljibes de agua. Este último fue reformado en el siglo XVIII. En la actualidad en el patio encontramos el brocal de un pozo aunque el interior de los aljibes son perfectamente visibles.

Salón noble o Sala de Armas Ocupa la misma superficie que una de las naves de la capilla gótica, ocupando un segundo piso o nivel. En origen aquí debió haber una sala árabe ya que se conserva una ventana en arco de herradura que formaría parte del edificio musulmán. En el siglo XVI y después de la construcción de la capilla en el piso inferior, el salón se convirtió en sala de armas o salón noble. El artesonado de madera que lo cubre aunque de reciente construcción es replica exacta del original. Desde la Sala de Armas se accede a dos de las torres, las conocidas como Torre Cap d'Altar y Torre Respatller, ambas de planta semicircular.

En la pared de poniente de la sala de armas, se abre un balcón que mira a la población, sobre este, en el tejado de la capilla, una espadaña de un solo vano desprovisto de la campana que tuvo que tener en el algún momento de su historia.

Torre Blanca debe su nombre al color blanquecino con la que está construida. De planta rectangular, fue construida entre los siglos XII y XIII, ha tenido diversos usos, entre ellos el de servir como almacén de pólvora. Tiene una altura aproximada de 16 metros y en su parte superior dispone de una terraza almenada. Esta torre era el punto ideal para vigilar la costa mediterránea. Se encuentra adosada al muro oriental y es construcción árabe. La entrada se realiza a través de un arco apuntado de ladrillo. Por delante de esta torre encontramos una sala conocida como Sala de la Mar, que se corresponde con el segundo nivel del segundo tramo de la capilla gótica inferior.

Baluarte Se trata de una antigua torre que fue adaptada para crear una plataforma desde la cual instalar piezas de artillería, en un momento en que estas clases de armas y las armas de fuego se estaban generalizando. Siglo XVI. De planta poligonal, adapta esta forma para disminuir la eficacia del fuego de artillería enemigo.

Torre Mayor o Torre Celoquia en su origen es musulmana (siglo X), era y es la torre más potente de la que disponía el castillo y miraba a la población. Con 17 metros de altura máxima, tiene planta cuadrangular algo irregular, ha sufrido numerosas reformas en función de los usos y necesidades del castillo. En época cristiana sirvió como Torre de Homenaje. Ha sido conocida como Torre de Sueca y como Torre Roja, el nombre de Sueca le viene porque controlaba el camino que discurre hasta esta población valenciana.

En la actualidad dispone de una espadaña fuera de uso, recuerdo de un pasado no necesariamente bélico. También su parte superior está remodelada, consecuencia de las reformas efectuadas para el uso de armas de fuego durante las guerras carlistas. Desde esta Torre Mayor, parte el conocido como muro isabelino occidental, adaptado en el siglo XIX a las necesidades del fuego de fusilería y desdibujando por ello su antigua estructura almenada.