Die erste nachgewiesene urkundliche Erwähnung für Ehinga datiert aus dem Jahre 961 in einer Tauschurkunde des Bistums Chur mit dem Kloster Schwarzach ( Baden ). Die Ansiedlung lag in der Schmiechniederung der Stelle der heutigen Unteren Stadt . Die eigentliche Gründung der Stadt begann erst mit der Neugründung durch die Grafen von Berg neben ihrer Burg über Schmiech. Nach dem Aussterben des Berger Grafenhauses Ehingen jedoch 1346 an Österreich . Die finanzschwachen Habsburger verpfändeten die Stadt jedoch bald an Adlige . Dieser Umstand sowie der wachsende Wohlstand Bürger ermöglichte es der Stadt wichtige Rechte erwerben die an die Nähe der Reichsstädte herankamen.
Im Jahre 1500 hielt sich Kaiser Maximilian mehrfach innerhalb der Mauern von Ehingen Zu seinem Freundeskreis gehörten die gebürtigen Ehinger Winckelhofer der Dichter Jakob Locher sowie der Jörg Muskat.
Bereits im folgenden Jahr bestimmte man zum Sitz eines Oberamtes dem Vorläufer der Landkreise. Im Laufe der Kreisreform in den 1970er Jahren wurde der Landkreis Ehingen mit dem Landkreis Ulm zum Landkreis Alb-Donau zusammengeschlossen.
Seit 1974 ist Ehingen mit seinen inzwischen 17 Große Kreisstadt.