VFF svarade för en bra första halvlek och ställningen var 1–1 i paus sedan Albin Kito kvitterat på straff efter att Fabian Ring blivit fälld.
Vimmerby avgjorde matchen i början av andra halvlek i och med att laget gjorde två mål.
– Vi var bra i första halvlek som jag är jättenöjd med. De var lite tyngre än oss i andra samtidigt som vi inte orkade stå upp. Det kändes som vi fick försvara oss mycket i andra halvlek, säger VFF:s tränare Magnus Fält.
För VFF:s del återstår en match den här säsongen och den spelas borta mot bottenkollegan Kisa BK på lördag.
Koggar 3) Rasmus Abrahamsson, 2) Christopher Sjöblad, 1) Jonathan Fält-Öhr.