Hjarbæk er i dag præget af moderne lystfartøjer, men engang var det en driftig lille havneby med mole, havnearbejdere og toldstation. Skibsfarten på stedet rækker tilbage til middelalderen, hvor bl.a. saltskuderne fra Læsø lagde ind og lossede. I midten af 1400-tallet nævnes stedet som én af fjordens få lovlige havne.

I 1851 indviede man den nuværende havn under det fine navn Viborg Kommunes Havn, og med tiden kom der endda en lille hjemmeflåde på ni fartøjer. De fragtede først og fremmest varer mellem Limfjordsbyerne, men nogle sejlede også til England og Norge.

For at staten kunne få sin andel, blev toldboden bygget i 1850. Det er den nuværende Hjarbæk Kro, der har haft til huse her siden 1894. Før den tid var der højskole, så der blev med andre ord ikke brug for toldboden i så lang tid. I små ti år gik det godt for havnen, men anlæggelsen af den jyske tværbane i 1863 satte punktum for sejladsen. I 1869 blev toldstationen solgt, og året efter afviklede kommunen sine sidste aktiviteter på stedet.

Gæstgiveriet, i dag Hjarbæk Kro.

Havnen sygnede dog ikke helt hen, men blev benyttet af krejlere og fiskere. Krejlerne færdedes i fladbundede kåge rundt på fjorden og faldbød deres varer på små og store markeder. Fra Hjarbæk Fjord var der især tale om jydepotter fra Fjends og trævarer som f.eks. træsko og vogndele fra de store Lindum og Bigum skove ved Tjele. Mursten kunne leveres af små teglværker ved Fiskbæk å og Skals å.

Fiskere på havnen.

Hjarbækvej.

Fra Vorde galgehøj er der en glimrende udsigt over Hjarbæk Fjord. Her hængte man de misdædere, der var blevet dødsdømt på Vorde birketing, som indtil 1680 blev afholdt ved kirken. Højen benævnes også som bavnehøj, en betegnelse fra den tid, da man signalerede ved at tænde blus (bavne) på høje punkter. Bavnehøj gav navn til de grundtvigske folkemøder, bavnehøjmøderne, der blev afholdt her fra 1916 til 1963. Stedet, et naturligt amfiteater, ligger på højre hånd, når man følger skovvejen ned mod fjorden. Vorde kirke ligger smukt på sydsiden af bakken. Det er en romansk kirke med en smuk renæssancetavle, der oprindelig stod i den nu nedrevne Nørresogns kirke i Viborg.