Castelul Levanto obişnuia să facă parte din fostul sistem de apărare al oraşului Levanto, mai precis, din zidurile oraşului, care datează din secolul al XII-lea, când regiunea era sub conducerea familiei Malaspina. Castelul şi zidurile au fost în mod repetat menţionate în diverse documente istorice, astfel încât este cert că acest castel a fost în mod extensiv renovat în cursul secolului al XVI-lea. Pe parcursul secolului al XVII-lea, edificiul a fost folosit ca sediu al Căpităniei Levanto, însă a fost folosit şi ca închisoare sub conducerea genovezilor.
Arhitectural vorbind, castelul constă dintr-o structură cu baza pătrată şi dintr-un turn circular. Numeroase motive decorative înfrumuseţează complexul, dintre acestea notabile fiind cele ce evocă istoricul conflict dintre Guelfi şi Ghibelini, precum şi două basoreliefuri: unul care descrie scena Bunei Vestiri, şi celălalt redându-l pe Sfântul Gheorghe învingând Balaurul.
În ciuda faptului că în prezent castelul este proprietate privată, acesta rămâne totuşi un obiectiv turistic notabil din Levanto pe care nici un vizitator al regiunii Cinque Terre nu ar trebui să îl omită.