Von 1962 bis 1976 war er Bürgermeister von Mauer. 1968 zog er zum ersten Mal in baden-württembergischen Landtag ein. 1976 bis 1996 war er Landwirtschaftsminister in Baden-Württemberg. Auf ihn gehen das Marktentlastung und Kulturlandschaftsausgleich (MEKA) und der so Wasserpfennig zurück. 1996 bis 2001 war er der Vizepräsident des baden-württembergischen
Der gelernte Landwirtschaftsmeister Gerhard Weiser bewirtschaftetete seiner vielen politischen Verpflichtungen seinen eigenen Hof Mauer im Rhein-Neckar-Kreis wo er bis zuletzt lebte. Er am 10. September 2003 an einem Schlaganfall .