Karl Gröger war als Schüler im Verein der sozialdemokratischen Mittelschüler tätig und studierte später Medizin an der Wiener Universität.
Nach dem sogenannten „Anschluss“ im März 1938 floh Gröger nach Amsterdam, wo er sein Medizinstudium fortsetzte. Als die Wehrmacht im Mai 1940 Holland überrannte, musste Gröger zur deutschen Armee einrücken, wurde jedoch nach wenigen Monaten gezwungen, die deutsche Uniform auszuziehen, weil er als sogenannter „Vierteljude“ für „wehrunwürdig“ erklärt wurde.
Gröger schloss sich der Widerstandsbewegung des Bildhauers Gerrit van den Veen an und nahm in der Nacht auf den 28. März 1943 an einem Anschlag auf das Amsterdamer Zentralmeldeamt teil. Karl Grögers Widerstandsgruppe drang als Polizeitruppe getarnt in das Gebäude ein, betäubte die Wachmannschaft, brachte diese in Sicherheit und sprengte das Gebäude. Tausende Karteikarten von Holländern, denen die Deportation ins KZ oder zur Zwangsarbeit drohte, wurden ein Raub der Flammen.
Gröger konnte zunächst in einem Bauernhof untertauchen, brachte aber die SS durch ein Telegramm („Alles in Ordnung“) an seine Freundin Truus van Essen auf seine Spur.
Die Gestapo verhaftete ihn und brachte ihn ins Amsterdamer Polizeigefängnis. Er wurde am 14. Juli 1943 vom SS- und Polizeigericht in Den Haag zum Tode verurteilt. Ein Gnadengesuch wurde vom Reichsführer SS Heinrich Himmler abgelehnt. Gröger wurde kurz darauf von einem Kommando der Sonderpolizei in den Dünen von Amsterdam erschossen. Vor seiner Hinrichtung erklärte Gröger seinem Anwalt in der Gefängniszelle: „Vielleicht hat mein Leben so doch mehr genützt, als wenn ich Arzt geworden wäre“.
Yad Vashem verlieh 1986 an Karl Gröger posthum die Ehrenmedaille der „Gerechten der Völker“.