Dès 1508, date de la première invasion, jusqu'à la fin du 17e siècle, les moines devront quitter les lieux à 9 reprises pour des raisons d'insécurité. Pendant leur absence, la brique est utilisée pour réaménager les bâtiments dégradés.