Malheureusement, il n'en reste presque plus rien à voir, mais autrefois, on ne pouvait pas l'éviter. À hauteur de la Hoogstraat (en quittant Sluis en direction de Cadzand) se dressait un grand château. Vers 1386, on entama sa construction. Le château servait principalement à contrôler, et éventuellement à entraver, le commerce entre Bruges et l'Angleterre.
Le château, avec pas moins de 16 tours, 2 corps de garde et 36 pièces, était gigantesque ! Il avait la forme d'un rectangle, avec de grands côtés d'environ 86 x 80 mètres. Les murs étaient hauts de 15 mètres et épais de près de 4 mètres. Des galeries traversaient les murs, reliant les tours entre elles.
Au début du 15e siècle, Jean de Bourgogne fit construire en face du grand château un petit château, appelé la "tour de Bourgogne". Sur les deux rives fut édifié un ouvrage de pieux en bois, entre lesquels une chaîne pouvait être tendue au-dessus de l'eau. De cette manière, on pouvait fermer le Zwin à la navigation.
Lors d'un bombardement en 1794, le château fut gravement endommagé. Il fut décidé de démonter le bâtiment. Des vestiges des fondations sont probablement encore présents dans le sol.
