Vid mitten av 1800-talet bildades Sällskapet för Westerviks förskönade med lektor Berlin i spetsen. Det fanns mycket som behövdes städas upp. Västervik och Slottsholmen var fyllda av bodar och skräpiga upplag av skilda slag. Sällskapets ambition var att göra Slottsholmen till en "allmän promenad och förlustelseplats – den täckast prydnad för vår stad".
Slottsholmen fick ett lyft och blev i grunden helt förändrad. Ruinen restaurerades och slottsparken anlades. Utvecklingen av holmen pågick under ett antal år. 1901 bildades Westerviks Kallbadhusaktiebolag och ett nytt kallbadhus byggdes på tomten som var granne med den gamla barlastkajen och vedupplaget. 1913 fick kallbadhuset en ny granne – restaurang Slottsholmen.
Helt plötsligt hade Söders badhus i norr fått en konkurrent och Fredelius varm- och kallbadhus på Strömsholmen hade fått en värdig ersättare som kallbadhus. På platsen där badhuset byggdes hade tidigare varit ett varv. Stora stenkistor fanns kvar från varvets glansdagar och de var man först tvungna att rensa bort. Arbetet gjordes – något otippat vill vi nog hävda – av borgmästare Rune och en bankkamrer Hjort. De båda skrivbordskarlarna knäppte av sig manschetterna, kavlade upp skjortärmarna och högg i. De såg arbetet som några nyttiga motionspass... Deras kamp med stock och sten var helt frivillig, ska kanske tilläggas.
Badhusbygget hade ritats av en nyinflyttad baningenjör som hette Malmstedt. Anläggningen kunde tas i bruk sommaren 1901. I maj 1908 köpte staden kallbadhuset för 6 000 kronor. Under några år användes badet flitigt. 1924 bildades simsällskapet och badhuset blev en central plats för Västerviks simsport.
I kallbadhuset fick flera tusen unga Västerviksbarn lära sig grunderna i simning. Undervisningen började ett par år innan simsällskapet bildades och höll på runt 20 år.
Badhuset byggdes om och till genom åren. 1935 fick huset en gemensam solbrygga utanför bassängerna. Två år senare byggdes solbryggan till med två tvärbryggor som gjorde kallbadhuset till en idealisk simsportanläggning. Vi har nu nått fram till badhusets toppunkt. Sedan började förfallet, som blev långt och utdraget.
I Simssällskapets vårnummer av Plask från 1950 skriver man om att staden hade ägnat allt mindre kraft åt underhåll och reparationer – för att till slut inte göra ett Guds skapande grand. Staden lade allt krut på Lysningsbadet. Badhusets inflytelserika förkämpar hade lämnat Västervik. De nya medlemmarna hade inte maktens öra på samma sätt som de tidigare. Deras skrivelser och uppvaktningar gav klent resultat.
I slutet av 1940-talet kröp domedagen allt närmare. Kallbadhuset låg i dödsryckningar. Vattnet var förorenat. Hälsovårdsnämndens beslut om badförbund kom ändå som en chock för simsällskapets medlemmar.
– Det känns som de skulle slita hjärtat ur bröstet på mig, kommenterade en äldre medlem.
Sällskapet ansåg att beslutet var högst omotiverat, bitterheten var djup, och kritiken mot hälsovårdsnämnden var skarp och tydlig. Sällskapet ansåg att man skulle ha väntat med att stänga badhuset tills en ny anläggning fanns att tillgå.
– Något badförbud i exempelvis Gamlebyviken med dess mycket sämre vatten existerar inte, skrev signaturen Atta.
Simsällskapet fick stöd av Västerviks-Tidningen, som dessutom underströk vikten av att Västerviks stad såg till att en rening av avloppsvattnet kom till stånd, inte bara i hamnen utan även ute vid Lysingsbadet.
Tidningen ansåg att en ambitiös arbetade idrottsförening hade drabbats av ett hårt slag, utan träningsplats och simstadion kunde inte ett simsällskap arbeta.
– Man vill därför hoppas att stadens myndigheter omedelbart tar upp frågan om ordnandet av ett simstadion på en annan lämplig plats, även om det inte blir lätt att finna någon annan än Lysingsbadet trots att den lösningen ingalunda är idealisk, skrev tidningen på ledarplats.
Kallbadhuset revs i samband med att den eldhärjade restaurangen jämnades med marken efter branden 1950.