Der Sohn des Opernsängers Maximilian Grahl erlernte nach dem Abitur am Wilhelm Gymnasium in Braunschweig zunächst den Beruf des Drogisten und nahm am vom August 1914 bis November 1918 am Ersten Weltkrieg als Freiwilliger teil, wo er mit dem Ehrenkreuz ausgezeichnet wurde.
Nach dem Krieg studierte er am Konservatorium in Dresden Gesang und hatte 1921 seinen ersten Auftritt an Städtischen Theater in Leipzig, wo er vom 1. Mai 1921 bis 15. August 1922 gastierte. Danach war er vom 1. September 1922 bis 31. August 1928 am Nationaltheater in Weimar unter Vertrag.
Vom 20. August 1928 bis 19. August 1930 hatte er ein festes Arrangement am Hessischen Landestheater in Darmstadt. Am 15. September 1928 meldete sich Grahl in Darmstadt an, wohnhaft in der Hügelstraße 69. Auch die Adressbücher von 1929 und 1930 verzeichnen den Opernsänger Hans Grahl. In dieser Zeit hatte er aber immer wieder auch Engagements an anderen Theatern Deutschlands.
Grahl heiratete am 20. Dezember 1929 die 1907 in Walterhausen geborene Klara (Claire) Auguste Falke.
Nach seinem Engagement in Darmstadt wurde er 1930 Ensemblemitglied der Hamburger Staatsoper und gehörte dort zu den höchstbezahlten Mitgliedern der Oper. Auch nach seinem Weggang aus Darmstadt hatte er Auftritte in dieser Stadt.
heißt es in einer Würdigung.
Grahl gehörte keiner NSDAP-Organisation an, einzige Ausnahme war die Reichstheaterkammer. 1936 wurde ihm der Titel "Kammersänger" verliehen.
Am 19. Januar 1937 geriet er durch die Aussage eines Schauspielers, der wegen Vergehens nach § 175 Strafgesetzbuch festgenommen worden war, in die Fänge der Hamburger Gestapo. Zwischen den beiden war es zu "unsittlichen Handlungen" gekommen. Auf Grund seiner Prominenz wurde zunächst von Ermittlungen abgesehen, im April jedoch fand eine Hausdurchsuchung mit anschließender Vernehmung statt. Am 13. April wurde Grahl verhaftet und von Richter Dr. Günther Riebow am 4. Mai 1937 wegen fortgesetzten Vergehens nach § 175 Reichsstrafgesetzbuch zu einer sechsmonatigen Gefängnisstrafe verurteilt. Der Richter bezeichnete ihn als "erfahrenen" Homosexuellen. Grahl wurde in das Gefängnis Glasmoor eingeliefert. Durch Interventionen seines Rechtsanwalts, des Intendanten der Hamburger Staatsoper, des Einsatzes seiner Frau und der Befürwortung durch den Anstaltsleiter wurde ihm ein Teil der Strafe erlassen.
Nach seiner Entlassung emigrierte er nach Prag, um für zwei Jahre am Deutschen Theater zu gastieren. Danach trat er an den Opernhäusern in Breslau und Danzig auf. Nach 1945 ging Grahl nach Berlin, trat an der Staatsoper auf und war als Gesangslehrer tätig.
In Hamburg trägt seit 2007 ein Weg im Gustav-Mahler-Park den Namen "Hans-Grahl-Weg".