V stredoveku bolo hlavné mesto Annecy, Geneva County, a stojí v centre mesta Annecy, bol hrad sídlom grófov z Ženevy. Hrad bol postavený v XII storočí na mieste pevnosti, postavený štyri storočia skôr. Vo XIII storočia sa stal sídlom príslušníkov grófskej rodiny, neskôr sa sťahoval do vojvoda Savoye.

V stredoveku hrad niekoľkokrát zničená požiarmi, ale zakaždým bol znížený, stále viac a viac posilniť svoju obranu. Avšak, aj napriek hrúbku stien, hrozivý vzhľad a s vynikajúcou polohou na vrchole kopca, v prvej polovici XVII storočia bol hrad zhotovená francúzskou armádou. V XVII storočia, v zámku sídli v kasárňach a sklad, jeden čas dokonca slúžil ako útočisko pre bezdomovcov. Iba v polovici XX storočia bola budova vyhlásená za historickú pamiatku, a teraz to sídli múzeum, kde môžete vidieť umelecké diela a predmety z rôznych epoch.

Jeden z najznámejších obyvateľov hradu bol Robert Ženevy - splodil tu v 1342, syn grófa Amadeus III. Robert Ženeva je tiež známy pod menom anti-pápeža Klementa VII - celkom militantné a kruté, prezývaný mäsiar a kat pre jeho spôsoby jednania s rebelmi. V druhej polovici XIV storočia v katolíckom svete mal dve oteckov - jeden oficiálne zvolený Urban VI a druhý zvolený kardinálske "opozície" Clement VII, ktorý dúfal, že prevziať moc a zvrhnúť Rím Urban VI. Mať neúspešný, Antipope Clement usadil v Avignone, ktorá kedysi sídlila pápežskej rezidencie.

Po smrti Klementa VII, v roku 1394 to bolo zlúčené s Annecy a Savoy stratil jeho štatút ako hlavné mesto kraja a kraja Ženevy, tiež, bol preč. Vzhľadom k Duke of Savoy hrad získal svoju najkrajšiu vežu Perrer.

Dnes je zámok je obklopený krásnou verejné záhrady a ďalších historických pamiatok. S jeho steny vidieť na mesto a jazero Annecy.