Gymnastikforeningen er stiftet 19. maj 2005 efter en spaltning af Varde Idrætsforening. Gymnastikforeningen er vendt tilbage til det gamle navn Varde Gymnastikforening forkortet VG. Det gamle VG blev i 1975 sammensmeltet med VB (Varde Boldklub) og dannede foreningen Varde Idrætsforening. Denne fusion holdt i 30 år, hvor Varde Idrætsforening rumede både Fodbold, Gymnastik, Tennis, Bordtennis, Volleyball, Svømning, flere andre tiltag har i tidens løb været inde under denne tag. Efter længere tids uenighed omkring drift og strukturopbygning blev der enighed om spaltning af Varde Idrætsforening, og dannelse af 6 seperate foreninger.
Den første bestyrelse i starten 2005 bestod af: Erland Jensen, Susanne Mortensen, Pia Husted, Britta Svendsen, Rikke Liestmann, Lene Slot Conradsen. Foreningen havde på dette tidspunkt ca. 375 medlemmer
Første gang VG blev stiftet er helt tilbage i 1921, helt nøjagtig den 20. januar. Foreningen holdt sit stiftende generalforsamling på H. K. Hansen`s restaurent, der lå på Hjørnet af Torvegade og Brogade. Der var 33 til den første generalforsamling, alle meldte sig ind i foreningen. Den første bestyrelse bestod af formanden postmedhjælper Mikkelsen, øvrige var : trafikassistent Gjørup, assistent A. P. Petersen, arbejdsmand Aksel Pedersen og turistchef Børge Kreilgård. Varde Gymnastikforening var andet end gymnastik, der kom hurtig flere idrætsgrene på programmet: Gymnastik, fodbold, kricket, atletik, boksning, hockey, bordtennis, skøjteløb og svømning har været blandt de aktiviteter der kunne dyrkes i foreningen.
Gymnastikken startede på Sct. Jacobi Skole 2 gange ugentlig i gymnastiksalen, men det var ikke i den nuværende gamle gymnastiksal, det var i det, der nu er sangsalen. Sangsalen er den gamle gymnastiksal, salen ligger lige til venstre når man går ind i gangen til gym. salen. Det meste af Sct Jacobi skole blev i 2008 jævnet med jorden, herunder også gymnastiksalen. Gymnastikforeningen har idag gymnastik på alle 3 byskoler samt i Lykkesgårdshallen og på Fritidscentret.