Dvorac je završen 1249. godine i korišten je prije svega kao lovački dom za Fridrika II. do njegove smrti 1250. godine. Kasnije je pretvoren u zatvor, korišten kao sklonište od kuge i naposljetku pao u zaborav. Izvorno je posjedovao mramorne zidove i stupove koje su pokrali i raznijeli razni vandali.
Nakon što je stoljećima bio napušten, otkupila ga je talijanska vlada 1876. godine za sumu od 25,000 lira, i započela je njegovu restauraciju 1928. godine.
Središnji zaplet u romanu "Ime ruže" Umberta Ecoa je srednjovjekovna utvrda "Aedificium" koja je zasigurno utemeljena na Castelu del Monte.
Castel del Monte je primjer zamka koji, jer se nalazi izvan grada, ima snažan obrambeni izgled. To se očituje u dvostrukom zatvaranju prema van, kulama (26 m visokim), ali i zidovima (25 m). Ipak, bitan novi element, više karakterističan za gotiku nego za romaniku, je otvaranje u veliko središnje dvorište (promjera 56 metara), ali i nedostatak opkopa oko dvorca i mosta na ulazu.
Još jedan detalj koji dokazuje kako je ova građevine zamišljena više kao dvorac za uživanje nego kao obrambena utvrda jesu stubišta u kulama koje vode na drugi kat. Ona su, naime, zakrivljena s desna ulijevo, dok je praksa u srednjem vijeku bila da se stubišta prave zakrivljena slijeva udesno kako bi se onemogućilo eventualnim neprijateljima da idući nagore zamahuju mačevima, dok su branitelji mogli odozgo lagano da se brane zamahujući mačevima u desnoj ruci.
Tlocrt utvrde (ali i njenih osam kula) je izveden isključivom uporabom osmerokuta u strogoj simetriji što ukazuje na geometrijsku kompoziciju.
Ulazna vrata plastički su izdvojena i naglašena visokim zabatom, kapitelima i vijencem. Podjelu unutrašnjosti na dva kata čitamo izvana po uskom zaobljenom vijencu koji obilazi čitavu građevinu i dijeli je vodoravno.