Durch seine Lage und seine charakteristische als isolierter 90 m hoher Keuperberg mit steilen Abhängen und einem breiten in einer ansonsten mäßig hügeligen Umgebung ist Hohenasperg weithin sichtbar beispielsweise von der A81 rechts der Fahrtrichtung wenn man sich von her Ludwigsburg nähert.
In vorgeschichtlicher Zeit um 500 vor war der Hohenasperg keltischer Fürstensitz mit einer Fluchtburg. Zahlreiche keltische in der näheren Umgebung sind so ausgerichtet sie freie Sicht auf den Hohenasperg bieten das große Hügelgrab bei Hochdorf an der Enz oder die Grabstätte an der Katharinenlinde bei Schwieberdingen. Einen ganz besonders guten auf den Hohenasperg bietet das am südlichen von Asperg liegende Kleinaspergle von dem seit einer Grabung im 1879 bekannt ist dass es sich um keltisches Hügelgrab handelt.
Um 500 nach Christus nach dem Sieg der über die Alemannen wurde der Hohenasperg fränkischer Herrensitz und Thingstätte .
Erstmals urkundlich erwähnt wurde Asperg bereits 5. Jahrhundert nach Christus größere Bedeutung erlangte der aber erst im 13. Jahrhundert mit der Gründung der bis 1909 selbstständigen Stadt Hohenasperg. Ab 1535 wurde der Berg als Festung ausgebaut Bewohner wurden an den Fuß des Berges
Nach dem Dreißigjährigen Krieg geht die wieder in württembergischen Besitz über. 1688 und 1693 wird die Festung durch französische Truppen danach verliert sie ihre Bedeutung für die und wird Garnison und Staatsgefängnis.
Die Nutzung als Gefängnis ist dafür dass der Asperg einem Bonmot zu Folge Württembergs höchster Berg ist: Es dauere nur fünf Minuten hinauf zu kommen aber ewig um wieder zu gelangen. 1737 wird Joseph Süß Oppenheimer der Finanzberater des württembergischen Herzogs verhaftet in einem dubiosen politischen Prozess zum Tode Der Dichter Daniel Schubart saß 1777 - 1787 als Staatsgefangener hier ein. Schubarts Schicksal Augen verfasste Friedrich Schiller sein Drama "Die Räuber" - und selbst der möglichen Festungshaft auf dem Hohenasperg Flucht ins benachbarte Baden .
Seit 1894 befindet sich auf dem Hohenasperg ein für den zivilen Strafvollzug. Inzwischen ist dort Zentralkrankenhaus für den Baden-Württembergischen Strafvollzug untergebracht. Der prominente Häftling war Peter Graf Vater der Tennisspielerin Steffi Graf der 1995 einige Wochen im Haftkrankenhaus auf dem verbrachte.
Über die Linie S5 hat Asperg an das S-Bahn -Netz der Region Stuttgart; die Fahrzeit vom Hauptbahnhof beträgt rund 30 Minuten. Über die Ludwigsburg Nord ist Asperg von der A 81 in wenigen Minuten erreichbar.