Mehrere Generationen haben über Jahrhunderte in der Murg das Schwimmen gelernt, und zwar im Stauwehr der Katzwerke, oberhalb der Eisenbahnbrücke, im Kanal der Firma Holtzmann und in der „Eichelwoog“ unterhalb des ehemaligen Bahnhofs Au.
Lehrer Hatz, der damals in Au unterrichtete, begann schon 1934 mit dem Schwimmunterricht in der Murg.
Anfang der 50er Jahre entschloss sich die Gemeinde Weisenbach, ein eigenes Schwimmbad zu bauen. Es entstanden ein Schwimmbecken in einer Größe von 50×15 Metern und einem Wasservolumen von ca. 1400 cbm, ein Nichtschwimmerbecken von ca. 350 cbm sowie ein Planschbecken für Kleinkinder. Bis zur Eröffnung des Schwimmbades wurde weiterhin in der Murg gebadet. Die Eröffnung des Latschigbades fand am 26.06.1955 statt. Erster Bademeister war Theodor Strobel.
30 Jahre später, Ende der Badesaison 1984, erfolgte eine Sanierung. Im Juli 1985 konnte die Wiedereröffnung des Latschigbades gefeiert werden.
Am 13.08.2005 fand ein großes Jubiläumsfest anlässlich des 50-jährigen Bestehens statt.
Am 7.02.2012 wurde der Schwimmbadverein Latschigbad Weisenbach e.V. gegründet. Als Betreiber des Bades hat der Verein nicht nur das Ziel, den Badebetrieb zu leiten und zu organisieren, sondern auch das Bad wirtschaftlich unabhängig zu führen. Im Jahr 2020 hat der Verein über 1.100 Mitglieder.