Une légende raconte que lorsque l'architecte Jan Van Ruysbroeck prit conscience de la sévère asymétrie qui frappait le bâtiment (en effet, le beffroi ne se situe pas exactement au milieu du bâtiment entre l'aile gauche et l'aile droite), il se donna la mort en se jetant du haut du bâtiment.