Olbrich war der Sohn eines Bäckers. in das Geschäft seines Vaters einzutreten ging jedoch 1882 nach Wien um sich in der Bauabteilung der einzutragen. 1886 kehrte er kurzzeitig nach Troppau zurück dort für eine Baufirma zu arbeiten. Ab 1890 studierte er aber an der Akademie bildenden Künste in Wien und gewann gleich Preise. 1893 trat er in das Büro von Otto Wagner ein. Die meisten Detailpläne für die der Wiener Stadtbahn dürften von Olbrich stammen doch ist nicht genau bekannt. Wagner schätzte ihn sehr erwog sogar eine Ehe seiner Tochter mit
1896 entstand wegen der Unzufriedenheit mehrer Künstler der Führung von Gustav Klimt die Wiener Secession als Abspaltung des Wiener Künstlerhauses. Da Gruppe ein eigenes Ausstellungsgebäude benötigte erhielt Olbrich ersten großen Auftrag und baute 1897 das Secessionsgebäude. In der Folge baute auch mehrere Wohnhäuser in Wien und Umgebung anderem das Haus für Hermann Bahr .
Großherzog Ernst Ludwig von Hessen besuchte häufig Wien und sehr an moderner Kunst interessiert. Auf seine entstand daher 1899 in Darmstadt die Darmstädter Künstlerkolonie Mathildenhöhe. Zu diesem Zweck holte er nach Darmstadt der schnell zum inoffiziellen Führer Künstlerkolonie wurde er erhielt auch das höchste Olbrich war damals der einzige Architekt in Kolonie ( Peter Behrens betätigte sich damals nur als Maler Graphiker). Weniger gut kam Olbrich mit dem Alexander Koch aus der ihn in seinen die Kolonie wichtigen Zeitschriften Innendekoration und Deutsche Kunst und Dekoration nur selten erwähnte. 1903 heiratete Olbrich in Wiesbaden Claire Morawe.
Die Künstlerkolonie wurde zum Experimentierfeld für wo er auch das Hauptgebäude das Ernst-Ludwig-Haus Daneben entstanden auch diverse Wohnhäuser und provisorische für Ausstellungen. Im gegensatz zu den anderen blieb Olbrich der Kolonie bis zuletzt treu. Beiträge zur Louisiana -Ausstellung in St. Louis machten einen so großen Eindruck dass – wahrscheinlich auf Veranlassung von Frank Lloyd Wright - korrespondierendes Mitglied des American Institute of Architects wurde. 1906 erhielt er seinen letzten und größten das Warenhaus Tietz (heute Kaufhof) in Düsseldorf.
Kurz nach der Geburt seiner Tochter erkrankte er an Leukämie und starb mit nur 40 Jahren Düsseldorf.