Schröder trat am 1. April 1933 die NSDAP ein. Er war auch Mitglied der SA . 1941 verließ er die NSDAP wieder aufgrund seiner Heirat mit einer Halbjüdin und Begegnungen mit Mitgliedern der Bekennenden Kirche .
1945 gehörte Schröder zu den Mitbegründern der CDU . Von 1967 bis 1973 war er Stellvertretender Bundesvorsitzender seiner Partei.
1953 wurde Schröder von Bundeskanzler Konrad Adenauer in das Amt der Bundesministers des berufen. Er erwarb sich bald den Ruf Law-and-Order-Politikers unter anderem setzte er das Verbot KPD durch. Allerdings scheiterte er vor Gericht dem Versuch die Vereinigung der Verfolgten des Naziregimes zu verbieten und sein Entwurf für frühe Version der späteren Notstandsgesetze fand keine Mehrheit.
Nach dem Ausscheiden von Heinrich von Brentano aus der Bundesregierung wurde er 1961 dessen Nachfolger im Amt des Außenministers . Dieser Zeitpunkt markiert das Ende der Kanzlerdemokratie Adenauers. Das Amt behielt er auch Bundeskanzler Ludwig Erhard . Schröder galt während dieser Zeit als d.h. als jemand der für die Orientierung deutschen Außenpolitik an den USA eintrat im Gegensatz zu dem "Gaullisten" für den die Beziehungen zu Frankreich wichtiger waren. Es wird angenommen dass zeitweilig in Schröder seinen Nachfolger als Kanzler ihm jedoch aufgrund dieses Konflikts seine Unterstützung