Berntsen var i mange år ejer af Frederiksværk Trælasthandel. Efter mange år som trælasthandler overdrog han forretningen til sin ældste søn Jannik. I dag er forretningen solgt og videreføres under navnet Stark, som er en gruppe på 75 trælaster, byggecentre og specialforretninger fordelt i hele Danmark.

I 40'erne og 50'erne boede Berntsen i dette store hus. Der er en fantastisk udsigt udover Roskilde Fjor. Huset har 3 etager + kælder og var nok det største enfamiliehus i Frederiksværk på den tid. Senere byggede Berntsen et nyt og mindre hus lige i nærheden.

Carl Viggos store fritidsinteresse var sejlsport. I 1936 fik han en bronzemedalje i de olympiske leje i Berlin. Han var tilmeldt i 8 meter klassen, en af de helt store både. Som holdkammerater havde han Niels Valdemar Hansen, Otto Danielsen, Vagn Kastrup, Niels Schibbye og Hans Tholstrup.

I sin tidligste ungdom sejlede Carl Viggo med sine to brødre Ole og William i en W-båd, som de ejede i fællesskab. Ole og William Berntsen vandt til sammen 5 olympiske medaljer 1 guld i Tokyo 1964, 1 sølv i Rom 1960, 2 bronze i London 1948 og 1 bronze i Melbourne 1956.

Carl Viggo Berntsen var Frederiksværk Sejlklubs grundlægger, og hans ihærdighed og store indsats prægede sejlklubben i de mange år, han var formand, og også i mange år derefter var han levende interesseret i klubbens ve og vel.