Ursprünglich unterstand das Territorium der heutigen dem Bistum Passau . Die Bestrebungen von Leopold VI. Anfang des 13. Jahrhunderts eine eigene Diözese in Wien zu scheiterten denn auch an der Intervention des Bischofs. Erst den Habsburgern unter Kaiser Friedrich III. gelang es 1469 die Bulle In supramae dignitatis specula zu erwirken die in Österreich zwei errichtete. In dieser Bulle wurde auch dem und seinen Nachfolgern das Recht gegeben Bischöfe ein Recht dass der österreichische Kaiser bis ausübte. Unter dem Episkopat von Sigmund von wurde Wien durch Papst Innozenz XIII. in den Rang einer Erzdiözese erhoben. 1729 wurde der Distrikt Unter dem Wienerwald hinzugefügt der zuvor noch immer zu gehört hatte. Der Distrikt Unter dem Manhartsberg kam ungefähr 1790 zu Wien.
Sie ist in drei Vikariate unterteilt: Vikariat Wien Stadt umfasst den Großtstadtbezirk von Wien das Vikariat Unter dem Manhartsberg den nördlichen Teil der Erzdiözese das Vikariat Unter dem Wienerwald den südlichen Teil.