Noch als Kind spielte Anger den in der Verfilmung von Ein Sommernachtstraum aus dem Jahr 1935 . Später besuchte er die Maurice Kossloff School an der auch Shirley Temple Unterricht nahm.
Einer breiten Öffentlichkeit wurde Anger 1958 durch die Veröffentlichung von Hollywood Babylon bekannt. In dem Buch durchleuchtete er ganze Reihe von Skandalen der Reichen und Hollywoods .
Anger begann bereits mit 11 Jahren Filme zu machen. Viele seiner frühen Arbeiten jedoch nicht mehr existent. Sein künstlerischer Ausdruck stark durch seine Faszination für Übernatürliches und Satanisten Aleister Crowley beeinflusst. Von Beginn an sich Anger mit okkulten Themen auseinander. Mit Fireworks schaffte Anger 1947 erstmals einen Verleih zu finden. Viele Filme sind jedoch kurze bis sehr kurze 5 Minuten bis 30 Minuten) Streifen in er düstere Visionen und Stimmungen umsetzt.
1955 reiste Anger nach Cefalu auf Sizilien um dort die Ruinen von Aleister Abtei Thelema fotografisch zu retten. Während dieser entstand der Dokumentarfilm Thelema Abbey .
Während der späten 60er hielt sich Anger im Dunstkreis der Rolling Stones auf. Mick Jagger schrieb 1969 die Musik für den Film Invocation of my Demon Brother .