D. Juan de Austria en el año 1570 entrega al duque de Pastrana, doscientas familias de moriscos expatriados de las Alpujarras de Granada, para que se asienten en Pastrana, construyéndose en ese entonces el Barrio del Albaicín.

De esta población morisca, cuarenta familias se instalaron en el poblado de la Pangía, ubicado en el punto en el que el río Arles desemboca en el Tajo.

A expensas de Ruy Gómez de Silva,se desarrollan industrias, manufactureras y artesanías diversas. Para ello una de las primeras medidas es asegurar el alimento para los gusanos de seda que producirán esta materia, se plantaron extensas superficies de moreras; montando a continuación telares, tintes y talleres para la elaboración de tejidos, cintas y pasamanería; se hizo traer de Flandes y Portugal los técnicos para poner en marcha una industria de tapices, brocados y terciopelos, que durante el último cuarto de siglo XVI produjo piezas que se consideraron entonces como las mejores de España.

Este barrio tiene una perfecta alineación de sus calles, con un concepto de urbanismo nuevo, en contraste con el que nos encontramos en la parte antigua de la villa. Algunas de sus casas conservan las peculiaridades típicas de las construcciones moriscas en estilo mudéjar.

En este barrio está situada la plaza toros de Pastrana,la cual se ubica en el antiguo zoco morisco. Las fechas de construcción, de esta plaza, no están claras, supuestamente data del siglo XIX, aunque su antigüedad puede ser mayor.