Varberg er Egersunds byfjell med naturstier og vei til toppen som har en flott utsikt over byen, innseilingen og distriktet. På toppen er det en kikkert slik at du kan se detaljer i terrenget.
Ved foten av Varberg, innerst i Øvre Prestegårdsvei finnes helleristninger fra yngre bronsealder (ca. 1,000–500 f. kr.). Dette feltet består av to skipsfigurer.
To kompassroser, en fra 1600-tallet og en fra 1800-tallet, vitner om toppens betydning for tidligere tiders navigering. Ved hjelp av kompassrosen kunne vetevaktene og andre beregne seilingsdata for fiendtlige fartøy på havet utenfor. Losene som fra Varberg speidet etter skip på vei mot havn, peilet retningen med kompassrosen og kunne få et forsprang på andre loser i kampen for oppdrag. En bunker fra krigens dager viser også toppens betydning som utkikkspunkt.
Varberg kan bety fjellet der varden sto eller stedet som en varslet krig og ufred fra ved hjelp av veter. En vete er en del av et varslingssystem basert på lys- og røyksignaler. Veten er bygd som en forberedt bålplass. Plikten til å holde veter går tilbake til Håkon den gode (konge 934-961), og Varberg, som kun rager 125 m.o.h. men har en formidabel utsikt, var et naturlig punkt å ha vete på.
I 1968 ble Varbergs rolle som et knutepunkt for kommunikasjon bekreftet. Da reiste Televerket en telestasjon for overføring av både radio- og fjernsynssignaler. Stasjonen er fortsatt i drift.
