Der Sohn eines Senatsrates in Hamburg studierte Theologie, Latein und Geschichte an den Universitäten Hamburg und Marburg.

1938 legte er an der Universität Hamburg seine 91 Seiten umfassende Dissertation im Fach Germanistik/Niederlandistik/Skandinavistik mit dem Titel "Die deutsche Bibel im religiösen Leben des Spätmittelalters" vor.

Eine bibliothekarische Fachausbildung begann er 1938 als Referendar an der Deutschen Bücherei in Leipzig und an der Bayerischen Staatsbibliothek in München. 1941 legte er die bibliothekarische Fachprüfung ab. Danach arbeitete er weiter an der Deutschen Bücherei, der Vorgängerin der Deutschen Nationalbibliothek in Leipzig und Frankfurt am Main.

Am Zweiten Weltkrieg nahm er als Marineoffizier teil.

Nach 1945 war er wieder im Bibliothekswesen tätig, so an der Neugründung des deutschen Bibelarchivs in Hamburg und später an der Staats- und Universitätsbibliothek ebenfalls in Hamburg.

Von 1964 bis zu seinem Ruhestand 1977 leitete Zimmermann die Hessische Landes- und Hochschulbibliothek in Darmstadt.

Im Jahr 2017 erschien die umfangreiche Jubiläumsschrift "450 Jahre Wissen – Sammeln – Vermitteln. Von der Hof- zur Universitäts- und Landesbibliothek Darmstadt", die eine Würdigung seiner Tätigkeit enthält.

Die Stadt Darmstadt verlieh ihm 1977 die Johann-Heinrich-Merck-Ehrung.

Zimmermann war auch in politischen Parteien organisiert. So schloss er sich 1933 der NSDAP-Schlägerbande SA und nach Ende der Aufnahmesperre 1937 auch der NSDAP an. Nach 1945 hatte er sich der FDP angeschlossen. So kandidierte er 1972 auf Platz 15 der FDP-Wahlvorschläge für die Darmstädter Stadtverordnetenversammlung.