Mohs studierte Mathematik Physik und Chemie an der Universität Halle (Saale) . An der Bergakademie Freiberg komplettierte er seine Studien mit dem Fach: Mechanik . Einer seiner Lehrer in Freiberg war Mineraloge und Geognostiker Abraham Gottlob Werner der Mohs in seine Fächer einführte. 1801 wurde Mohs Grubenvorarbeiter in Neudorf im Harz. 1802 kam er zum ersten Mal nach Wien um die Gesteinskollektion des Bankiers J. van der Nüll zu sortieren und annotieren.
Mit seiner Klassifikation der Mineralien die allem auf die physikalischen Eigenschaften (Form Härte spezifisches Gewicht ) seiner Objekte abhob befand sich Mohs Opposition zu den meisten seiner Kollegen die Hauptgewicht auf die chemische Zusammensetzung legten.
1812 wurde Mohs zum Professor der Mineralogie Johanneum in Graz berufen. In dieser Zeit entwickelte er nach ihm benannte Härteskala . Schon 1817 allerdings nahm er als Nachfolger den seines Lehrers Werner in Freiberg ein.
1826 folgte eine Berufung nach Wien. Seine dazu hielt er aber am k.u.k. Mineralienkabinett. 1834 erhielt er hier neben seiner Professur eine der Kustodenstellen.
1835 wurde Mohs als Bergrat an das nach Leoben berufen und verließ auch das Mineralienkabinett.