Gwrthgloddiau sylweddol a rhai yn parhau'n garreg o'r Castell Norman cynnar, adeiladu o amgylch 1170-80 gan William de Warenne, Iarll Surrey a phrif Justiciar i William y Conqueror. Banciau ddaear fawr yn amgylchynu bailey, ac ar un pen Mae mwnt gydag olion cadw. Oedd hon yn wreiddiol Neuadd de Warenne, sef oedd wedi'i hamgylchynu gan Fanc ringwork syml. Codwyd peth amser o amgylch 1140, yn ystod y rhyfel sifil o teyrnasiad y Brenin Stephen, mwnt o amgylch y waliau atgyfnerthu'r neuadd a ddaeth i'r sylfaen ar gyfer llawer cryfach, er mae'n debyg byth ei orffen, cadw. Brenin Harri II pan ddaeth i'r Orsedd a dymchwelwyd y gadw, ynghyd â llawer o amddiffynfeydd didrwydded eraill hynny roedd dŵr fyny ar draws y wlad yn ystod y gwrthdaro.