VIF bedrev verksamhet redan sommaren 1899 i form snitzeljakt, men detta avtog till hösten samma år och klubben hade ingen idrottslig verksamhet förrän 1902–03. Då kom en ny gymnastikdirektör till Västervik, W Borg, som drog igång flera olika idrottsgrenar som skid- och skrikskoåkning, segling, fotboll, pärk, varpa, tennis, gymnastik, fäktning, kanot och skridskosegling med hjälp av flera personer, bland andra Harald Regnell. Allt i motionsform och i överseende av W Borg.
Föreningen bildades officiellt 1906 och då blev verksamheten mer regelbunden och då i tävlingsform.
VIF:s medlemmar var de som 1908 påbörjade arbetet med att iordningställa Bökensved. Medlemmarna som inte deltog i arbetet fick plikta med 25 öre/timme.
Bästa resultatet i fotboll 1914 när klubben avancerade till semifinal i DM. Efter protest från motståndarna IF Gothia från Kalmar, så spelades matchen om och VIF förlorade med 0–1.
Den 12 december 1922 beslutades att bilda ett bandylag. Träningen skulle genast starta och förfrågan till läroverket om deras bandyklubbor fick användas av VIF.
När Västerviks IF lade ner fotbollen och bandyn för att bli en ren friidrottsklubb är inte riktigt klarlagt. Detta skedde troligen när Ekdalens BK, senare IFK Västervik, och Höckersbo BK, senare Västerviks AIS, drog ingång sina verksamheter 1919.
VIF är fortfarande en aktiv förening och har i dagsläget basket samt friidrott för främst ungdomar på programmet.