Wolff, Sohn des Darmstädter Richters Dr. jur. Carl Wolff, bestand am Darmstädter Ludwig-Georgs-Gymnasium am 27. April 1917 die Kriegs-Reifeprüfung. Zwei Tage später begann er die militärische Laufbahn als Fahnenjunker im Großherzoglich-Hessischen Leibgarde-Regiment Nr. 115.
(siehe auch Leibgardisten-Denkmal und Soldatenverbände)
Am Ersten Weltkrieg nahm er in Frankreich als Zug- und Kompanieführer teil und wurde mit dem Eisernen Kreuz EK II und EK I ausgezeichnet. Von 1918 bis 1920 war er Leutnant im Hessischen Freikorps und im Reichswehr-Schützen-Regiment Nr. 35.
Wegen der auf der Grundlage des Versailler-Vertrages vereinbarten Heeresverkleinerung schied er aus und begann 1920 eine Lehre als Bankkaufmann bei der Privatbank Gebr. von Bethmann in Frankfurt am Main. Von 1923 bis 1924 hatte er in München eine "sehr bescheidene Stelle bei der Deutschen Bank" schreibt Brendan Sims.
1925 machte er sich als Inhaber eines Annoncen-Unternehmens selbstständig. Dieses Geschäft betrieb er bis 1933. Danach war er hauptberuflicher SS-Führer.
Am 7. Oktober 1931 trat er der NSDAP und der Waffen-SS bei. 1933 war er von März bis Juni Adjutant des Reichsstatthalters von Bayern, des Generals Ritter von Epp, und anschließend in gleicher Funktion des Reichsführers SS Heinrich Himmler.
Seine weitere Karriere ist steil:
1937 wurde er zum Generalleutnant und kurz vor Ende des Zweiten Weltkrieges, am 20. April 1945, zum Generaloberst der Waffen-SS ernannt.
Seit 1936 gehörte er dem Scheinparlament Deutscher Reichstag an.
In der SS-Schrift "Das schwarze Korps" vom 23. Januar 1936 zeigen Karl Wolff und seine Frau Frieda, geborene von Römheld die "glückliche Geburt eines kräftigen Stammhalters" an (siehe Abbildung).
Bei der Verfolgung des Sozialdemokraten Carlo Mierendorff durch die Nationalsozialisten spielte Wolff eine Rolle. Mierendorff war seit Juni 1933 in verschieden Konzentrationslagern inhaftiert und wurde 1938 entlassen, stand aber weiter unter Beobachtung der Gestapo. Für diese Entlassung habe sich neben anderen hohen NS-Funktionären auch Karl Wolff eingesetzt.
1939 wurde ihm das Goldene Parteiabzeichen der NSDAP verliehen.
Als hoher SS-Führer war Wolff "in den nationalsozialistischen Rassen- und Weltanschauungskrieg" involviert, war vom Generalplan Ost unterrichtet, der die Vertreibung von Millionen Slawen geplant hatte. Er war zudem in den Angriffs- und Vernichtungskrieg gegen die Sowjetunion eingeweiht und über die Deportation und Vernichtung der Juden informiert, ebenso 1942 über Massenerschießungen jüdischer Frauen und Kinder. 1942 setze sich Wolff beim Staatssekretär im Reichsverkehrsministerium, Dr. Ganzenmüller, für die erforderliche Transportkapazität ein, um die Deportation und Ermordung der Warschauer Juden zu ermöglichen. Da die Intervention Wolffs Erfolg hatte, bedankte er sich bei Ganzenmüller:
Im September 1943 wurde Wolff zum "Höchsten SS- und Polizeiführer in Italien" ernannt.
Als er erkannte, dass der Krieg verloren war, nahm er kurz vor Kriegsende Kontakt zum amerikanischen Geheimdienst auf. Laut Spiegel führten diese zur früheren Kapitulation der deutschen Wehrmacht in Italien. Hierfür musste er, schreibt der Spiegel, nicht auf die Nürnberger Anklagebank, sondern wurde nur als Zeuge vernommen. Der US-Geheimdienst hielt seine schützende Hand über ihn.
Am 13. Mai 1945 wurde er in Bozen von den Amerikanern verhaftet, kam in ein britisches Vernehmungslager in Rom und wurde später noch in weiteren Haft- und Internierungslagern festgehalten, bis er 1947 als Zeuge in den Nürnberger Prozessen auftrat. Dass er lediglich als Zeuge vernommen wurde, geht auf seine Rolle bei der frühzeitigen Kapitulation in Italien zurück.
Von der Spruchkammer in Hamburg-Bergedorf wurde er im November 1948 wegen Mitgliedschaft in einer verbrecherischen Organisation (SS) zu fünf Jahren Gefängnis, von denen zwei Jahre durch die Untersuchungshaft als verbüßt galten, verurteilt und als Hauptbelasteter eingestuft.
Wolff hatte daraufhin das Revisionsgericht angerufen, das das Urteil am im März 1949 aufhob, die Haftstrafe auf vier Jahre Gefängnis verringerte, die als abgegolten galt. Eingestuft wurde er nun als "Mitläufer".
Von 1949 bis 1960 war Wolff als Generalvertreter der Anzeigenabteilung der Illustrierten "Revue" in Köln tätig. In Köln-Lindenthal wohnte er in der Fritz-Hönig-Straße 1. Ab 1960 lebte er in Kempfenhausen-Percha am Starnberger See.
1961 veröffentliche Wolff in einer Illustrierten, so berichtete der Spiegel 1984, einen Aufsatz über seinen ehemaligen Chef Heinrich Himmler, der offenbar auch von der Münchner Staatsanwalt gelesen wurde. Ein Jahr später, am 18. Januar 1962 wurde er verhaftet und am 30. September 1964 wegen Beihilfe zum Mord in mindestens 300.000 Fällen vom Münchner Schwurgericht zu 15 Jahren Zuchthaus und der Aberkennung der bürgerlichen Ehrenrechte für zehn Jahre verurteilt. Die 15 Jahre endeten nach fünf Jahren, 1969 erhielt er Haftverschonung.
Nach der Haftentlassung wohnte er bei Freunden und Bekannten in München, Darmstadt und Prien am Chiemsee.
In einem Schreiben des Hessischen Staatsarchivs vom 10. November 1983 wird der "Sehr geehrte Herr General" um eine "zusammenfassende Äußerung" Wolffs zu dessen Beteiligung bei der Freilassung Carlo Mierendorffs angefragt. Hierzu wird Kasimir Edschmid mit folgender Äußerung zitiert:
Eine Reaktion ist nicht überliefert.
Nach Angaben im Melderegister wohnte er ab 1. Dezember 1971 bis 13. Juli 1972 bei dem Kunstmaler und ehemaligen NSDAP-Mitglied Ferdinand Barth im Prinz-Christians-Weg 2.
Im der ersten Ausgabe des Mitteilungsblatt der Leibgardisten von 1982 (Nr. 1-1982) ist folgende Anzeige enthalten, aus der hervorgeht, dass SS-General Karl Wolf um diese Zeit in der Wilhelminenstraße 22 wohnte (siehe Abbildung).
Ein Blick in das Adressbuch 1981/82 der Stadt Darmstadt zeigt, dass zur fraglichen Zeit kein Karl Wolff in der Wilhelminenstraße 22 gemeldet war (siehe Abbildung).
Das Darmstädter Echo vom 17. Juli 1984 berichtete unter der Überschrift "Himmlers Stabschef gestorben - Ehemaliger SS-General Karl Wolff stammte aus Darmstadt", dass Wolff nach längerer Krankheit im Rosenheimer Stadtkrankenhaus gestorben sei.
Diesem tapferen und überzeugten Nationalsozialisten widmete die Kameradschaft der Darmstädter Leibgardisten aus Anlass seines Todes 1982 einen langen Nachruf mit Foto. Er schießt mit "Generaloberst Wolff nahm, ehe er vor zwei Jahren Darmstadt verließ, an vielen unserer Veranstaltungen teil. Wir werden sein Andenken als verständnisvollen Kameraden und wichtigen Zeitzeugen in Ehren halten".