Durante la etapa celtibérica, Gormaz, junto con Uxama (Osma), desempeñaban un papel importante en las guerras con Roma debido a su situación en el paso hacia territorios vacceos.

En el siglo IX los musulmanes construyeron un pequeño castillo en el lado noroeste del cerro, uno de los primeros asentamientos en la provincia.

En el siglo X, repueblan Clunia, Aza, San Esteban de Gormaz y Osma, iniciándosede esta manera la dominación cristiana de Soria.

Se cree que sobre el año 912 debió construirse una primera fortaleza cristiana.

La reacción de los sucesivos califas no se hizo esperar, pues fortalecieron toda la zona, con el fin de evitar los constantes ataques de los ejércitos castellanos; así, la capital de la Frontera Media se trasladó desde Toledo a Medinaceli, fortaleciendo las plazas fuertes de San Esteban de Gormaz y el castillo de Gormaz.

En el 975 el conde Garci al frente de 60.000 hombres, es incapaz de tomar el castillo tras un largo asedio y sufre una humillante derrota. Entre los años 978 y 981 consigue apoderarse de Gormaz. Pero la gesta fue efímera, porque volverá a ser reconquistado por Almanzor en el año 983.

El Cid, recibe la villa de Gormaz en 1087.

A partir de este momento va pasando de mano en mano: Doña Berenguela, Enrique I, Don Álvaro de Luna, Enrique III,....

Después ha pertenecido al obispado de Osma, Juan Hurtado de Mendoza (1395) y los marqueses de Camarasa.

La torres de planta rectángular, la puerta con arco de herradura, etc, hacen de esta fortificación islámica una de las más importnates de toda Europa. Cuenta también con un aljibe con una capacidad de más de 100.000 litros de agua. Con los Reyes católicos (siglo XV), pierde su carácter militar y pasa a ser utilizada como cárcel.