Scarlino pone il suo centro storico sulla sponda nord-occidentale di Poggio Ballone, in una zona nella quale sono avvenuti molti ritrovamenti di tipo preistorico risalenti all'Eneolitico e all'Età del Bronzo. Il territorio di Scarlino si allunga sino alla fascia costiera alta e frastagliata del promontorio delle Bandite di Scarlino, dalla quale spicca Cala Violina. Spostandoci a nord del promontorio, possiamo osservare il Porto del Puntone di Scarlino.