Dvorac, koji se nalazi na vrhu planine, sagrađena je 1184. od strane jednog od generala Caladina za zaštitu željezne rudnike od Ajloun i zaštitu od napada Franaka. Ajloun dvorac dominira tri glavne putove prema Jordanskoj dolini i zaštićene su trgovačke rute između Jordana i Sirije. On je bio važna karika u lancu utvrda za zaštitu od križara, koji su desetljećima bezuspješno uhvatiti dvorac i obližnjem selu.

Izvorno dvorac je imao četiri kule s kruništem debelim zidovima rupe za strijelaca, a okružen jarkom i dubini od 16 do 15 metara.

U 1215. je mameluci guverner Aibak ibn Abdullah proširio dvorac, dodajući još jedan toranj na jugoistočnom uglu i podizanje mosta, ukrašenu likovima golubova, što se može vidjeti i danas.

U XII stoljeću. Dvorac poručio je guverner Aleppo i Damask Salah ad-Din ibn Yusuf Ayyub. Kada je obnovljena sjeveroistočnom toranj. U 1260., radovi na obnovi dvorca je prekinut i on je pao na Mongola. Uskoro, međutim, mameluci Sultan Baybars reconquered i ponovno obnovljena tvrđava ga.