Situada en la  calle de la Palma, la más emblemática de la villa, la cual debe ese nombre por tener su primer casa un escudo de armas en el que se ve una cruz, una palma y una espada, el cual es el símbolo elocuente de haber sido la sede en Pastrana del Santo Oficio de la Inquisición.

En el inicio de la calle se levanta una alta y cerrada edificación, de aspecto siniestro, que sobre su puerta muestra el emblema de la Inquisición. En Pastrana no se realizaron juicios por no existir  tribunal inquisitorial establecido, pese a tener una amplia población en el siglo XVII, época de mayor esplendor. Los tribunales más cercanos eran los de Cuenca y Toledo.

En Pastrana fueron nombrados varios familiares que se encargaban de vigilar a los vecinos y forasteros, de llevar todo tipo de gestiones burocráticas y trámites indagatorios para luego pasarlos al correspondiente tribunal. No podemos afirmar que existiesen salas de interrogatorios, pero la imaginación es libre…… Lo que sí es cierto, es que en las primeras décadas del siglo XVI,se han documentado grupos heréticos en Pastrana, encabezados por el clérigo Gaspar de Bedoya,  y respaldado  por la Inquisición toledana a partir de 1523.