Après plusieurs déménagements, le Collège s'installe en 1853 dans une ancienne filature rue de Lille. Une société civile en devient propriétaire et donne les locaux en bail à la ville pour que celle-ci y établisse le Collège, à condition que la direction en revienne à un prêtre du clergé diocésain. Le bail est signé définitivement en 1861, renouvelable tous les cinq ans.
Les travaux sont entrepris par les architectes Leroux et Maillard. L'aile à trois niveaux donnant sur la rue de Lille, illustrée par la carte postale, est achevée en 1885 par Charles Maillard. Elle se prolonge par un pavillon roman et une aile à deux niveaux. A gauche, on peut apercevoir la façade sur rue de la grande chapelle, de style romano-lombard..
