Arzt legte im März 1896 die Reifeprüfung am Darmstädter Großherzoglichen Realgymnasium ab und studierte Maschinenbaukunde an den Technischen Hochschulen München, Hannover und Darmstadt. 1902 bestand er die Diplomhauptprüfung und 1906 die Staatsprüfung.
1903 wurde er Regierungsbauführer, 1906 Regierungsbaumeister, 1916 Baurat, 1920 Regierungsbaurat, 1922 Oberregierungsbaurat, 1924 Reichsbahnoberrat und schließlich am 1. September (oder Oktober) 1932 Direktor bei der Reichsbahn und Leiter der Reichsbahndirektion Oldenburg.
Mit der Auflösung der Direktion Oldenburg am 1. Dezember 1934 (siehe Abbildung) verlor Arzt den Direktorenposten. Doch der verdiente Volksgenosse "aus arischer Abstammung" wurde wenige Jahre später Präsident der bedeutenderen Reichbahndirektion Münster.
Im von der NSDAP herausgegebenen und verantworteten "Führerlexikon" weißt Arzt darauf hin, dass er "arischer Abstammung aus einer alteingesessenen hessischen Tuchfabrikantenfamilie in Michelstadt" sei.