U srednjem vijeku bio je glavni grad Annecy, Ženevi županije, a stoji u središtu Annecy, dvorac je bio sjedište grofova Ženevi. Dvorac je sagrađen u XII stoljeću na mjestu tvrđave, izgrađena četiri stoljeća ranije. U XIII stoljeću postao sjedište članova grofovske obitelji, kasnije se preselio u Duke of Savoy.

U srednjem vijeku u dvorcu nekoliko puta uništena požarima, ali svaki put je smanjena, sve više i više ojačati svoju obranu. Međutim, unatoč debljini zidova, prijeteći izgled i položaju premijera na vrhu brda, u prvoj polovici XVII stoljeća, dvorac je preuzeta od strane francuske vojske. U XVII stoljeću, dvorac kuće vojarni i skladišta, jedno vrijeme je čak služio kao utočište za beskućnike. Samo u sredini XX stoljeća, zgrada je proglašen povijesni spomenik, a sada je smješten muzej gdje možete vidjeti umjetnička djela i predmete iz različitih razdoblja.

Jedan od najpoznatijih stanovnika dvorca bio je Robert Ženeve - rodi ovdje u 1342, sin grofa Amadeus III. Robert Ženevi je također poznat po imenu anti-papa Klement VII - lijepa militantni i okrutni, nadimak mesara i krvnika za svoje metode koje se bave s pobunjenicima. U drugoj polovici XIV stoljeća u Katoličkoj svijetu imao dva tate - jedan je službeno izabran Urbana VI i drugog izabranog Kardinalov "opozicija" Klement VII, koji su se nadali da se vlast i svrgnuti Rim Urban VI. Nakon što nije uspio, Antipope Klement nastanio u Avignonu, koja je nekada nalazila papinski prebivališta.

Nakon smrti Klementa VII u 1394. je spojio s Annecy i Savoy je izgubio svoj status glavnog grada u županiji, i županiji u Ženevi, također, nije bilo. Zbog vojvoda od Savoy dvorca dobila najljepši toranj Perrer.

Danas je dvorac je okružen prekrasnim vrtovima javnih i drugih povijesnih znamenitosti. Uz njegove zidine vidi grad i jezero Annecy.