Citadela počeo graditi početkom XIX stoljeća. U početku, kaštel je izgrađen iz temelja, ali u prvom desetljeću XIX stoljeća. Deseci tisuća ljudi radili na izgradnji bedema izgrađena u stilu francuskog vojnog inženjera Vauban. Unutar Citadela je carski grad - Izvornik Zabranjenog grada u Pekingu.

Tijekom rata sa Sjedinjenim Državama i Imperial Citadela, grad je pretrpio od stotinu zgrada preživjela je samo dvadesetak. U sklopu je rekonstrukcija i restauracija zgrada, ali mnogo je ostalo u ruševinama.

Gates Ngomon su unutar kaštela i imaju pet ulaza: centralno - za cara, dva - za kraljevski slonovi i dvije - za kraljevske sluge mandarina. Vrata je okrunjen velikom stražarnice pet feniksa. Ovdje u 1945, posljednji car iz dinastije Nguyen potpisala abdikacije.

Signal toranj Mačka By dominira južnim utvrda kaštela. Nedaleko od nje, a na vratima je Ngan prostor za parade, u kojem postoji devet brončanih topova - tzv dinastički pištolj. Oni simboliziraju četiri godišnja doba i pet elemenata rituala.