Valbergtårnet har en lengre historie; det ble bygget som branntårn i 1853 som erstatning for et eldre vektertårn. Fyrlykta ble i 1863 flytta fra Tungenes fyrstasjon, slikt at man fikk et havnefyr. Fyret ble nedlagt etter bare to år, men fyrlykta skal ha vært der til 1894 og ble brukt i vinterhalvåret.
Tårnet er bevart, og ble freda gjennom vedtak i 1987.