Der Sohn eines badischen Staatsanwalts legte 1930 das Abitur ab und studierte danach bis 1935 Geschichte, allgemeine Literatur- und Kunstgeschichte und Latein an der Universität in Heidelberg mit je einem Semester an den Universitäten in München und Wien.
Von März bis Juni 1935 leiste er sein Volontariat am Stuttgarter Stadtarchiv.
Am 2. Juni 1936 legte er an der Universität Heidelberg seine Dissertation über "Das Hagenauer Kirchenleben im ausgehenden Mittelalter" vor.
Danach bestand er die Badische Staatsprüfung für das wissenschaftliche Lehramt. Von April 1936 bis September 1937 wurde er am "Institut für Archivwissenschaft und geschichtswissenschaftliche Fortbildung am Preußischen Geheimen Staatsarchiv" in Berlin-Dahlem zum Archivar für den wissenschaftlichen Dienst ausgebildet und legte im gleichen Monat seine Staatsprüfung ab.
Es folgte das Volontariat am Staatsarchiv Darmstadt, wo er auch im April 1938 seine berufliche Laufbahn als sog. wissenschaftlicher Hilfsarbeiter im Angestelltendienst begann.
Am 21. November 1939 wurde "Durch Urkunde des Reichsminister des Innern ... der wissenschaftliche Hilfsarbeiter Dr. phil. Walter Gunzert zum Archivassessor" ernannt.
Ab April 1940 nahm er mit Unterbrechungen als Soldat am Zweiten Weltkrieg in Russland und Frankreich teil.
Am 20. April 1944 erfolgte die Ernennung durch Urkunde des Führers zum Archivrat.
Im Frühjahr 1945 kam er zunächst in französische und danach in amerikanische Kriegsgefangenschaft.
In einer "Materialsammlung Gunzert" des Hessischen Staatsarchivs heißt es: "...und wurde wegen seiner kurzzeitigen Mitgliedschaft in der Studenten-SA im 'Interniertenlager' in Darmstadt inhaftiert. Die Entlassung erfolgte im Mai 1946. Im Oktober 1947 kehrte er nach Darmstadt zurück und am 1. November 1947 nahm er seine Tätigkeit am Staatsarchiv Darmstadt wieder auf."
Im Jahr 1959 wurde er stellvertretender Leiter des Staatsarchivs Darmstadt und 1971 erfolgte seine Ernennung zum Oberarchivrat.
Seine Versetzung in den Ruhestand erfolgte am 1. Oktober 1974.
Nach Angabe der Entnazifizierungskartei war Gunzert von 1933 bis 1936 Mitglied der NSDAP-Schlägerbande SA und 1940 Anwärter auf eine Mitgliedschaft im NS-Kraftfahrkorps.
Als Wohnung war die Kittlerstraße 34 angegeben.
Im Entnazifizierungsverfahren wurde er zunächst als Mitläufer eingestuft und zu einer Sühneleistung von 300 Reichsmark verurteilt. Im weiteren Verfahren wurde er entlastet und von der Zahlung einer Sühneleistung befreit.
Die Adressbücher der Stadt Darmstadt verzeichneten ihn als Archivar (1940 bis 1942), wohnhaft in der Theodor Fritsch-Straße (heute Martinstraße) 121 und 1949 als Staatsarchivrat in der Kittlerstraße 34.