Le château est situé à l'extrême pointe de la montagne, surplombant la mer et la plaine. L'édifice a été élevé par les Normands à l’emplacement du temple de Venus Ericina et porte pour cette raison le nom de « Château de Vénus ».