Die erste urkundliche Erwähnung ist auf Jahr 1341 datiert. Im Jahre 1343 werden die ersten Herren der Stadt Grafen von Käfernburg erwähnt die die Stadt Grafen von Henneberg verkauften. In den darauffolgenden wechselte die Herrschaft über Ilmenau mehrfach bis wieder an die Henneberger zurückfiel. Nach dem dieses Geschlechtes wurde Ilmenau dem Herzogtum Sachsen zugesprochen und wurde bei der Erbteilung 1660 / 61 dem Herzogtum Sachsen-Weimar zugesprochen. Diesem Herzogtum die Stadt dann bis 1918 an.