Nach einer Tätigkeit als Amtsrichter wechselte Sack 1934 zur Militärgerichtsbarkeit. Er stieg dort zum Richter am Reichskriegsgericht auf. In dieser war er mit dem Verfahren gegen den der Gestapo der Homosexualität beschuldigten Chef der Heeresleitung von Fritsch befasst und konnte belegen dass erhobenen Anschuldigungen ohne Grundlage waren. 1942 wurde Sack Chef der gesamten Heeresjustiz.
Während des 2. Weltkriegs kam Karl Sack in Kontakt zu Widerstandskreisen der Abwehr (Nachrichtendienst) und des Militärs. Die Verschwörer des 20. Juli 1944 in deren Pläne er eingeweiht war ihn bei einem Gelingen des Umsturzes als vorgesehen. Nach dem Scheitern des Attentats und Umsturzversuchs wurde Karl Sack am 9. August 1944 verhaftet in den letzten Kriegstagen in Standgerichtsverfahren ohne rechtsstaatliche Mindeststandards zum Tode verurteilt schließlich erhängt.
Im Jahre 1984 wurde Karl Sack Anbringung einer Bronzetafel im ehemaligen Reichskriegsgericht in Charlottenburg als Widerstandskämpfer geehrt. Diese Ehrung war umstritten weil er eine weitreichende Auslegung des der Fahnenflucht befürwortete die zu nicht wenigen Todesurteilen haben dürfte.