Fue fundado en 1620 como colegio de la Compañía de Jesús. En 1822 el edificio fue sede de la diputación, al ser nombrada Villafranca capital de la provincia del mismo nombre. Más tarde, en 1899, paso a manos de los Padres Paúles, que mantuvieron el colegio hasta 1983. La monumental fachada tiene dos cuerpos separados por una cornisa y en el frontón vemos el escudo de los Jesuitas, orden religiosa fundada en 1534 por Ignacio de Loyola.