En 1453 el rey Juan II de Castilla expide una Real Facultad por la cual autoriza al obispo de Ávila y I señor de Coca Alonso de Fonseca (El Viejo) a construir un castillo. No obstante será su sobrino Alonso de Fonseca (El joven) quien a la muerte de este en 1473 comience las obras de construcción hacia 1485. El inicio oficial de las obras tuvo lugar en 1488 ya que antes se había procedido al levantamiento del terreno y a la preparación de las obras. De este castillo llama la atención que sus muros y fisonomía general no lo hacen de mucha altura, a excepción de la torre del homenaje, son los conocidos como castillos de perfil bajo, esto es debido a que fue construido pensando en el incipiente uso de la artillería, lo que parece demostrar que en su construcción o planteamiento se tuvo en cuenta este aspecto de carácter militar.

El castillo se construye en dos fases, en la primera fase (finales siglo XV y principios del XVI) se va levantando la mole del castillo, esta es llevada por dos maestros albañiles de origen mudéjar, el maestro Farax y el maestro Ali Caro que desarrolla la mayor parte del proyecto. Ali Caro posteriormente cuando los Reyes Católicos obliguen en 1502 a todos los mudéjares a bautizarse adoptará el nombre cristiano de Alonso de Fonseca como homenaje a su benefactor. Después de la muerte de Alonso de Fonseca (el joven) en 1505, el nuevo Señor de Coca su hermanastro Antonio de Fonseca continuará con las obras del castillo, además impulsará una renovación decorativa del interior del castillo adaptándolo a una nueva concepción mas palatina, así el maestro cantero cantabro Juan de Ruesga y el maestro albañil sevillano Diego Rodríguez se encargaran de la decoración interior siguiendo planteamientos recogidos de la cultura andalusí con elementos genoveses y sevillanos. Se construye el patio de armas de tres pandas y dos pisos que aparte de las columnas de mármol de Genova hoy perdidas, se decoraba con azulejos cerámicos sevillanos y estucos de vivos colores también mayormente perdidos.

Siguiendo instrucciones de Antonio de Fonseca, Diego Rodríguez construye sobre el adarve de las fachadas Norte, Sur y Oeste unas galerías abiertas al exterior en forma de logia con columnas de mármol y sobre la terraza de la Torre de Pedro Mata un cenador o mirador en forma circular. Estas logias acabarían siendo demolidas en 1828 para su posterior venta. Todas estas obras hay que fecharlas a finales de la primera década del siglo XVI.

El castillo está formado por tres líneas defensivas, el primero formado por el foso que aunque pueda parecer lo contrario, no se hizo para llevar agua y de hecho nunca la ha llevado. Le siguen dos recintos amurallados, uno exterior y otro interior, en ambos casos la muralla se refuerza con torreones, siendo los mas potentes los situados en los ángulos. El castillo está construido principalmente en tapial reforzado con ladrillo usado mayoritariamente aunque en algunas zonas concretas se utiliza la piedra caliza. Este tipo de construcción en ladrillo es atribuible a maestros de obras (alarifes) mudéjares. Aunque la utilización del ladrillo es mucho barato que la piedra, no hay que desdeñar el hecho que los muros en ladrillo son capaces de absorber los proyectiles artilleros de la época sufriendo un menor daño.

Foso La primera línea de defensa la proporciona un profundo foso que nace directamente de la base con un alto zócalo de ladrillo. Actualmente un puente fijo apoyado en dos arcos de ladrillos permite salvar la altura del foso y nos encamina a la entrada del castillo. El foso tiene un perímetro de 560 metros y en la actualidad lo rodea un pretil de obra que sirve de protección. Este puente fijo probablemente en origen fuera levadizo, ya que las dos troneras abiertas en el muro bajo con forma de cruz y orbe así lo parecen indicar. El zócalo sobre el que se levanta el castillo y que nace en el foso está realizado en talud lo que suponía un inconveniente añadido para los sitiadores.

Primer recinto defensivo o Recinto exterior Una vez salvado el foso se entra en el primer recinto defensivo, es la conocida como liza, un espacio donde podía alojarse la guarnición o se establecían pequeñas construcciones auxiliares, y en caso de ataque los defensores se replegaban al segundo recinto fortificado y entonces el enemigo se encontraba a descubierto en un espacio abierto entre dos líneas muradas sin ninguna protección.

La puerta de entrada en arco de medio punto con lóbulos invertidos está defendida por dos torreones poligonales construidos en ladrillo no excesivamente altos. La puerta se protege con matacanes en su parte superior, almenas, saeteras y troneras. En origen debió disponer de tranca vertical, rastrillo y puerta de doble batiente. A ambos lados sendos escudos de la familia Fonseca con los diversos entronques familiares: las estrellas de los Fonseca, los lobos de los Ayala, el ajedrezado de los Ulloa y los árboles sobre ondas de la familia de los Fajardo. Catalina Fajardo de Mendoza contrajo matrimonio en 1654 con Fernando de Fonseca Toledo Ayala y Ulloa (* Madrid 17-03-1600 † Madrid 11-09-1676), por lo que hay que atribuir estos escudos a este personaje de la familia Fonseca.

Teniendo en cuenta que dos lienzos de la muralla que rodeaba la población finalizaban en el propio castillo, esta puerta principal quedaba intramuros de la muralla frente a la villa y por tanto mas expuesta a un enemigo interior. También al quedar frente a la población hacia poco discreta las entradas y salidas de los personajes.

Una segunda puerta hoy inutilizada se encuentra en la fachada Oeste a la altura de la Torre de Pedro Mata. Se trataba de la puerta extramuros a la población y servía de entrada al castillo sin necesidad de entrar en la villa. Era mas discreta que la principal y los señores podían entrar y salir sin ser vistos. La entrada se protegía por un puente levadizo hoy desaparecido del que solo queda el pilar de apoyo sobre el foso.

El recinto exterior tiene planta casi cuadrangular, dispone de cuatro grandes torreones poligonales en cada uno de sus ángulos y otras tantas más pequeñas circulares (garitones) en los espacios intermedios. Las torres esquineras levantan en cada una de sus caras pequeños torreones o garitas que refuerzan el carácter defensivo de la torre. Al interior las torres se estructuran en tres pisos de forma circular abriéndose en ellas varias galerías de tiro finalizadas en troneras de las llamadas cruz y orbe, es decir aptas para poner pequeñas piezas de artillería. Estas salas se cubren con bóvedas esféricas de ladrillo.

Sorprende ver en todos los muros del castillo, la gran cantidad de troneras "de cruz y orbe" que defienden el castillo. Por el interior estas se complementan con galerías de tiro que refuerzan la protección de los artilleros y escopeteros. Algunas de estas troneras se encuentran a pie de escarpa, es decir por debajo del nivel del terreno en el mismo foso.

Segundo recinto defensivo o Recinto interior Junto a la torre del homenaje se encuentra la puerta de entrada al segundo recinto o zona residencial. Este adopta también planta cuadrangular irregular, tiene cuatro torreones, tres circulares en tres de sus esquinas y en la cuarta esquina la torre del homenaje de planta cuadrangular y la mas alta de todo el conjunto.

La puerta de entrada al recinto interior se abre inserta en un gran arco ojival enmarcado por una moldura en forma de alfiz. Está formada por un arco carpanel en cuyo interior se dispone un rastrillo de hierro que desciende hasta el suelo para incomunicar ambos recintos amurallados. En la parte mas alta del conjunto existe una línea de matacanes corridos con buhaderas en la base, que servían para lanzar líquidos inflamables a los que intentaran asaltar la entrada. El gran arco apuntado descansa en un friso formado por tres modillones de rollos. Por encima de este arco corre otro friso con decoración de dientes de sierra en cuyo centro se abre un hueco que por lo que parece debió albergar un escudo de armas hoy desaparecido.

• La torre del homenaje consta de tres plantas unidas entre sí por una escalera de caracol construida en ladrillo. La torre se conserva casi intacta desde el momento de su construcción conservando su altura original del principio. En la planta inferior encontramos la primea sala, es la capilla, actualmente alberga una talla románica de la Virgen Sedente y otra gótica de la Virgen con el Niño. Como es de suponer no son originales del castillo. También guarda dos tablas de tradición flamenca del siglo XVI de temas religiosos. De cualquier modo hay que decir que se desconoce la ubicación exacta de la capilla del castillo aunque si que se conoce su existencia, además debía de tratarse mas de un oratorio que de una capilla. En total la torre del homenaje alza 40 metros sobre la base del foso y 25 metros sobre el patio de armas.

El primer piso es una sala de planta cuadrangular, es la conocida como Sala de Armas. Destaca por su decoración pictórica en paredes y techos a base de motivos geométricos de diversos colores (rojos, blancos y azules), cenefas, ajedrezados, entrelazos y formas de ascendencia mudéjar. En el techo se han pintado falsos nervios en la bóveda. En la clave central se puede distinguir parcialmente borrado el escudo de los Fonseca (las estrellas de los Fonseca). También en esta sala podemos encontrar una chimenea o estufa de ladrillo y toda una serie de paneles cerámicos con azulejos de Toledo y Sevilla que nos pueden hacer idea como era la decoración azulejera de las paredes del castillo. Completa el conjunto una serie de muebles y objetos de época que pretende ser una aproximación a lo que sería una sala noble del palacio.

En el segundo piso se sitúa la Sala Museo, un pequeño recinto con restos arqueológicos que han sobrevivido a la historia del castillo. Destaca un escudo de la familia Fonseca, restos de una escalera y algunos mármoles encontrados dispersos por el castillo. La decoración de esta sala ya es de corte renacentista. Junto a esta sala se encuentra otra pequeña sala con una ventana abierta al exterior que sirve de excelente mirador sobre el paisaje.

Por fin se llega a la terraza de la torre del homenaje, perfecto mirador desde donde se divisa todo el paisaje de alrededor. Nos encontramos en la zona mas alta del castillo. Desde la torre del homenaje y a través de una estrecha galería cubierta conocida como Galería Norte, se llega al piso superior de la Torre de Pedro Mata, esta galería une por tanto ambas torres sin necesidad de salir de ellas. En esta galería encontramos algunos elementos decorativos de época que sirven de ambientación.

• La torre de Pedro Mata o de la Prisión protege el ángulo Nor-Oeste. Toma este nombre por ser este personaje hombre de confianza de la familia Fonseca. Es la segunda en tamaño después de la del homenaje y entre ambas protegen la entrada al segundo recinto. A ella se llega como hemos dicho desde la Torre del Homenaje a través de un pasillo cubierto que recibe el nombre de galería Norte y que parte de la sala alta de esta torre.

La sala alta de la torre de Pedro Mata tiene planta octogonal y bóveda de horno, dispone de un conjunto pictórico formado por arcos peraltados entrelazados con las dovelas en colores rojos y blancos en alternancia y anudados en un nivel central, mientras que en el nivel inferior encontramos una cenefa con motivos geométricos. El resto de la decoración se compone de motivos florales, rosetas, tallos vegetales y ánforas o jarros de donde toma nombre la sala por la que es conocida: Sala de los Jarros. En general predominan los colores rojos y negros. Esta sala también es conocida como Sala de los Secretos, pues tiene una acústica considerable, que hace que lo que se dice en un extremo de la sala en voz baja sea escuchada nítidamente en el lado opuesto de la sala.

La sala inferior tiene interés porque sirve como lugar de vigilancia del acceso al recinto y por tener un agujero en el centro del suelo que lo comunica con la sala mas baja, esta última conocida como la mazmorra. La techumbre de esta sala se encuentra pintada con motivos que simulan ladrillos y una cenefa de entrelazos. La mazmorra se encuentra en la sala inferior y no tenía acceso desde el exterior aunque en la actualidad tiene abierta una puerta de entrada. El agujero que vemos en la sala superior es por donde eran introducidos los prisioneros. A indicar que en esta mazmorra no eran introducidos los personajes nobles.

• Torre de la Muralla, también conocida como Torre del Ladrón. En el ángulo Sur-Este. En la base de esta torre encontramos un corto pasillo que atraviesa la torre y del que se desconoce su utilidad concreta, probablemente serviría para batir al enemigo desde su misma altura. El pasillo se cierra por una bóveda apuntada de cañón en cuyo centro se abre una buhadera para asediar a los asaltantes. Se le denomina de la muralla por que junto a esta encontramos un trozo de muralla que en origen descendía hasta la población sirviéndole de protección.

• Torre de los Peces, en el ángulo Sur-Oeste, también conocida como Torre de la Fuente o del Caño. Al igual que ocurre con su compañera anterior, en la base de la torre encontramos un pequeño pasillo que la atraviesa. Sus salas interiores también se decoran con pinturas de motivos geométricos pero en este caso adoptan formas circulares entrelazadas. Recibe el nombre de Torre de los Peces ya que en sus salas el pez es un elemento decorativo que se repite con frecuencia aunque justo es reconocer que sus formas son muy estilizadas y un tanto extrañas.

• Patio de armas, en origen era una construcción rectangular, de dos alturas, señoreadas por columnas de mármol de orden corintio realizadas en mármol blanco. Las paredes estaban revestidas de azulejos, estucos, cerámicas de vivos colores y detalles decorativos de estilo plateresco. Este patio fue obra del IV señor de Coca, Antonio Fonseca llevado a término en el primer tercio del siglo XVI.

En 1828 el administrador de la Casa de Alba, Faustino Ruiz destrozó el patio y las logias superiores vendiendo sus columnas y decoración como elementos de construcción. Su actual configuración con dos plantas es producto de la rehabilitación llevada a cabo en el siglo XX cuando el castillo pasó a manos del Ministerio de Agricultura. La planta baja dispone el patio con pilastras de ladrillo con basas de piedra. El segundo piso desarrolla un conjunto de columnas en mármol que sostienen arcos carpanales que abren al interior del patio con antepechos de obra.

Prácticamente se puede considerar que el patio de armas es de nueva planta, se contabilizan solamente ocho columnas de la construcción anterior de las treinta que parece ser que tuvo. El actual patio que desarrolla dos plantas en altura, dispone de tres pandas (al igual que el patio original), la cuarta panda es un muro completamente liso abierto solo por ventanas que es la parte utilizada como escuela de capataces e internado y en épocas anteriores como zona residencial.