n 1417, le Comté et le château furent légués par héritage à la branche cadette de la maison allemande de Nassau, qui, en 1530, recueillit également la principauté française d'Orange.
La chapelle, le Petit Palais et le Grand Palais, les pièces les plus remarquables du château, ont été réalisées vers la fin du 12e et dans la première moitié du 13e siècle. Le Quartier de Juliers à l'ouest du Grand Palais, aujourd'hui disparu, date du début du 14e siècle, le Quartier de Nassau ne fut érigé qu'au début du 17e siècle.