La frazione di Cavoli è un modesto agglomerato di case sorte nei pressi della bella spiaggia granitica, formatasi nei millenni grazie ai residui del granito, la pietra di cui è  costituito l’intero settore occidentale dell’Elba.

Dalle antiche cave poste sulle pendici a monte, già in epoca romana venivano estratti manufatti anche di notevoli dimensioni, principalmente colonne data la robustezza della pietra granitica. Gli storici ci indicano provenienti dall’ Elba alcune colonne del Pantheon, numerose basiliche Romane, ma anche molte delle colonne del duomo di Pisa sono di origine elbana.

Delle antiche cave di epoca romana (I-II sec. D.C.) e pisana (XII sec.), restano oggi numerosi residui sparsi sul territorio, a testimonianza del duro lavoro di schiavi e scalpellini delle varie epoche.
Una  colonna granitica di medie dimensioni, avvistata e recuperata dopo una forte mareggiata, è  oggi visibile nel giardinetto adiacente la costruzione denominata l’arsenale, forse destinata anticamente a ricovero delle imbarcazioni.

Nel secolo scorso, i pochi abitanti della frazione erano dediti principalmente alla lavorazione dei graniti ma anche alla cura dei vigneti ricavati dai terrazzamenti disseminati nella ampia dalle digradante verso il mare cristallino.