Der Sohn des Schreiners Peter Willmann besuchte nach der Volksschule eine Verwaltungsakademie und wurde Bilanzbuchhalter und Betriebsprüfer. Als 15-jähriger trat er dem Arbeiter- Turn- und Sportbund bei. Als Lehrling hatte er sich der Gewerkschaft angeschlossen und wurde Leiter der Jugendgruppe des Zentralverbandes der Angestellten in Darmstadt.
Als 21-jähriger wurde er Mitglied der Kommunistischen Partei Deutschlands.
Ab 1929 war er Mitarbeiter der Deutsch-Russischen Naphta Gesellschaft in Frankfurt am Main, später in Essen und dort Betriebsratsvorsitzender.
Nach der Machtübergabe an die Nationalsozialisten wurde Willmann 1933 wegen seiner Mitgliedschaft in der KPD auf der Grundlage des Gesetzes zur Wiederherstellung des Berufsbeamtentums entlassen, konnte aber ein Jahr später eine Beschäftigung in der Deutsch-Amerikanischen Petroleum-Gesellschaft in Essen, anfangs als Hilfskraft, zuletzt als Bilanzbuchhalter antreten.
1940 wurde er Betriebsprüfer bei der Oberfinanzdirektion in Düsseldorf und wurde kurze Zeit später zur Kriegsmarine eingezogen. 1944 war er in Italien einem Kommando zugeteilt, das am 12. August 1944 an Erschießungen von Partisanen und Zivilisten beteiligt war. Ob Willmann persönlich an diesen Aktionen beteiligt war, konnte nicht ermittelt werden.
Zum Ende des Zweiten Weltkrieges geriet Willmann in englische Kriegsgefangenschaft.
Nach der Befreiung vom Faschismus übernahm Willmann 1945 den Vorsitz des KPD-Ortsverbandes Darmstadt--Eberstadt. Von September 1945 bis zu seiner Pensionierung war er Betriebsprüfer beim Finanzamt Darmstadt, ab 1946 Mitglied des Betriebsrats und 1947 auch Betriebsratsvorsitzender.
In Hessen gehörte er zu den Männern der ersten Stunde, die sich für einen demokratischen Neubeginn einsetzten. Er war Mitglied des Beratenden Landesausschusses vom 29. März 1946 bis 14. Juli 1946 und der Verfassungsberatenden Landesversammlung von Groß-Hessen vom 15. Juli1 946 bis 30. November 1946.
Er kandidierte für die Wahl zum 1. Hessischen Landtag 1946 auf der Landesliste der KPD auf Platz 8 "Karl Willmann, Betriebsprüfer, Darmstadt-Eberstadt, Darmstädter Str. 32" und gehörte dem Hessischen Landtag fast die gesamte Wahlperiode vom 1. Dezember 1946 bis 26. September 1950 an.
In seiner Heimatstadt Darmstadt kandidierte er 1948 zur Wahl der Stadtverordnetensammlung auf Platz 2 der KPD-Liste und wurde von der Darmstädter Bürgerschaft als einer von fünf Kommunisten in das Stadtparlament gewählt.
1950 legte er sein Mandat nieder und wurde aus der KPD ausgeschlossen.