Cafodd Castell Holt ei adeiladu gan John de Warenne o 1282 ar ôl trechu Llywelyn Ap Gruffydd gan Frenin Edward I. Roedd ward mewnol y castell wedi’i adeiladu o ddyluniad pentagonol gyda phum tŵr crwn uchel yn amgylchynu iard pentagonol bach, gyda mynedfa i’r gogledd. Roedd y ward mewnol yn lledgylchol gyda giât ar ochr y gogledd. Ychydig o’r castell sydd wedi goroesi heddiw ar ôl cael ei ddefnyddio fel chwarel cerrig gan Thoam Grosvenor yn dilyn y Rhyfel Sifil.