Achterste Binnenplaats
Deze kant van het kasteel was het meest blootgesteld aan aanvallers en kreeg daarom extra sterke verdediging. Hier bevonden zich ook de gevangenissen van het kasteel. Deze bevonden zich in de beide torens en daar waar zich nu de ronde bank met bodemraam bevindt. In de 17e eeuw werd naast de muur van het Grote Paleis een graanafvoer geïnstalleerd.
Schildmuur
Het is onbekend hoe de verdediging er hier precies uitzag vóór de 13e eeuw.
Rond het jaar 1200 werd er een nieuwe buitenste verdedigingsmuur met drie torens gebouwd. De twee nog bestaande torens (Witte en Zwarte Toren) aan beide uiteinden van de muur, en een derde toren in het midden. Deze derde toren is grotendeels verdwenen. Alleen de onderste verdieping is nog aanwezig en bevindt zich onder de grond. De ronde houten bank op de binnenplaats geeft de oorspronkelijke vorm weer.
Tussen 1350 en 1400 werd een nieuwe en sterkere muur gebouwd, de Schildmuur. Dit was nodig omdat kanonnen hun intrede deden. De middelste toren verdween en de twee overgebleven torens werden van een extra verdieping voorzien. Kanonpoorten maakten het mogelijk om het kasteel met vuurwapens te verdedigen.
De onderste verdiepingen van alle drie de torens werden gebruikt als gevangenis. Later werden ook de bovenste verdiepingen tijdelijk daarvoor gebruikt (voor krijgsgevangenen).