Klubben bildades den 18 augusti 1949 och anslöt sig till SJ Fritidsförbund. Det finns inga tecken på att klubben var medlem av Riksidrottsförbundet.
Föreningen var till för SJ-personal som var placerade i Västervik. Vid den tiden fanns 184 stycken anställda vid järnvägen i Västervik, även personalen som fanns på mellanstationer Västervik-Åtvidaberg och Västervik-Hultsfred fick vara medlemmar i SJ IF Västervik.
SJ Fritidsförbund var som ett RF inom järnvägen. Det arrangerades rikstäckande tävlingar i alla sporter som fanns i övriga idrott-Sverige. SJ IF Västervik deltog i dessa rikstävlingar i olika idrotter, mest fotboll, handboll, bowling och skytte. Speciellt skytte hade många medlemmar och tävlingar.
Klubben hade vid ett flertal tillfällen idrottsutbyte med utländska klubbar, både i Västervik och utomlands. Första tillfället var 1954 när E.S.V Engers från Västtyskland var på besök i med ett fotbollslag. Året efter var Västervik i Västtyskland på återbesök och spelade tre fotbollsmatcher. Det blev som bäst oavgjort i en av matcherna. Resor företogs också till Österrike där det spelades handboll. Vid ett annat tillfälle var klubben på idrottsutbyte i Spanien. Vid samtliga tillfällen spelade klubben mot andra järnvägsklubbar.
På hemmaplan var klubben och startade korpidrotten i Västervik som gjorde att de var flitiga deltagare i en mängd olika grenar. 1956 vann klubben korpserien i fotboll.
Klubben var också duktiga på att arrangera sociala träffar för personalen med utflykter med tåg till olika orter Sverige.