Will man die geschichtliche Entwicklung des HSG aufzeigen, muss man schon auf das Jahr 1931 zurückblicken, denn bereits im Sommer dieses Jahres wurde im damaligen Gasthaus „Badischer Hof“ der „Harmonika-Club Gengenbach“ gegründet. Es war die Zeit, in der zahlreiche Handharmonika-Vereine in Süddeutschland durch die Initiative des damaligen Musikdirektors Hermann Kanitz aus Donaueschingen ins Leben gerufen wurden. Leider gingen während des 2. Weltkrieges die Unterlagen des Vereines verloren, so dass genaue Fakten nicht bekannt sind.
Zum damaligen Zeitpunkt wurde in der Hauptsache die diatonische Handharmonika gespielt. Das Akkordeon fand erst nach und nach Eingang in die Orchester. Auch war es in jener Zeit sehr schwer, sich ein Instrument zu beschaffen, da sich gerade die Wirtschaftskrise der 30iger Jahre auszuwirken begann. Trotzdem gehörten dem Orchester durchschnittlich 15 aktive Spieler aus Gengenbach und Umgebung an, die bis in die Kriegsjahre hinein miteinander musizierten.
Doch hatte schon die Einführung der allgemeinen Wehrpflicht ab 1936 die Schar der aktiven Spieler gelichtet, schmolz im Laufe der Kriegsjahre 1939 – 1945 allmählich der Spielerstamm dahin, bis der Verein schließlich zu existieren aufgehört hatte.