También conocido como el Hospital de Afuera por su situación externa a las murallas. El motivo de su ubicación es debido a las ordenanzas municipales de la época, que dictaban que los edificios de uso hospitalario no podrían estar en el interior del casco urbano. El responsable de su construcción fue el cardenal Juan Pardo Tavera, cuyo nombre tomó el hospital, comenzándose las obras en el año 1541 bajo el mando de Alonso de Covarrubias. Años después tomó el relevo Hernán González de Lara, hasta entonces aparejador, hasta 1577, año en que falleció. En este año le sustituyó Nicolás de Vergara el Mozó, quien dejó marcado su estilo en la iglesia del hospital, donde se haya el sepulcro del fundador.

En el edificio actualmente hay un colegio de educación primaria, el Archivo de la Nobleza, y un más que interesante museo.