El Palacio Viejo se levanta sobre una calle que en la Pastrana clásica y medieval no existían. Dña. Ana de la Cerda, inició la construcción de un palacio (que todos sospecharon sería castillo) junto a la muralla del pueblo, sin la aprobación de los caballeros calatravos allí afincados. Con el tiempo el palacio quedó integrado con la vieja villa, y la calle ancha que servía de camino de llegada vio levantarse sus edificios. Pero en ese lugar existió, desde la Edad Media, un gran caserón al que todos llamaron, y siguen llamando, el Palacio Viejo. Se cree pudiese utilizarse como hospedería de la Orden de Calatrava. Así mismo fue, residencia de la señora doña Ana mientras construía el Palacio Ducal y entraba en conflicto con los vecinos y el Concejo.

Lo que podemos apreciar es la portada, de acentuadas formas góticas, propias del siglo XV, que se asemejan a las que enmarcan la portada primitiva de la Colegiata. Ese Palacio Viejo de Pastrana es un lugar de obligada visita. No solo por su planta severa y elegante. Hoy está dividido en dos viviendas, con un curioso jardín escalonado descendente hacia el valle del Arlés; posiblemente estos jardines fueron creados en el siglo XVII los moriscos que se dedicaban a la industria de la seda, y que residían en Pastrana en el barrio del Albaicín. Era más grande, pero la calle de las Siete Chimeneas, construida después, recortó su extensión.