Sorta in posizione molto suggestiva a ridosso e sotto l'attuale castello di Isola Capo Rizzuto che occupa un'isoletta collegata alla terraferma da una sottile striscia di terra, probabilmente artificiale: è uno dei posti più affascinanti della Calabria, dove antropizzazione e natura trovano un perfetto equilibrio.

Le ipotesi che vogliono collocare qui i famosi Castra Hannibalis, riportati anche sulla Tabula Peuntingeriana, sono prive di fondamento: la testimonianza di Plinio è molto chiara in proposito, situando il porto in questione nel punto più stretto d'Italia, la zona cioè di Skylletion/Scolacium. Nel Quattrocento il posto era noto col nome «Castelli a mare», «Torre della Castella» e, alla fine del Cinquecento, «Torre di Annibale» o «Mura di Annibale». Un precedente edificio del XIII° secolo fu ristrutturato dagli Aragonesi con la costruzione della torre cilindrica, ma l'aspetto attuale si deve all'impianto del 1521; l'edificio ebbe però vita breve: già nel 1536 fu distrutto dal corsaro algerino Khair-ad-din, detto il Barbarossa.

È stata una mareggiata a scoprire casualmente, sotto le fondazioni del castello sul lato est, un grande muro della lunghezza di circa 40 m la cui tecnica di costruzione, con blocchi di calcare e piccoli riquadri in pietra disposti a scacchiera, ricorda molto da vicino quella utilizzata in un muro ellenistico di Velia: la sua datazione oscilla tra la seconda metà del IV° e gli inizi del III° a.C.
S'ignora, per il momento, se il muro debba riferirsi a uno sbarramento frangiflutti, a una vera e propria cinta muraria o piuttosto a un phrourion, ovvero posto fortificato, per la protezione di uno scalo naturale.

Al Museo Nazionale di Crotone si conservano alcuni reperti ceramici dell'età del Bronzo provenienti da questa area.