Nach dem Besuch des Lehrerseminars in Karlsruhe unterrichtete er 1902 kurzzeitig als Volksschullehrer in Heitersheim bei Freiburg. Von 1902 bis 1905 bildete er sich als Zeichenlehrer in der Karlsruher Kunstgewerbeschule weiter. Nach einigen Jahren als Zeichenlehrer studierte er von 1907 bis 1911 an der Großherzoglichen Akademie für bildende Künste in Karlsruhe und unternahm Studienreisen.
Grimm nahm von 1914 bis 1918 als Soldat am Ersten Weltkrieg teil.
Ab 1926 war er Mitglied der Darmstädter Sezession. Ab 1929 arbeitete er verstärkt in seiner Heimat im Odenwald. 1932 wurde er mit dem Badischen Staatspreis ausgezeichnet. Ein Jahr später trat Grimm der NSDAP bei und wurde 1934 Ehrenbürger seiner Heimatgemeinde Mudau, in der auch der "Arthur-Grimm-Weg", in Buchen/Odw. die "Arthur-Grimm-Straße" nach ihm benannt wurde.
Wegen seiner Mitgliedschaft in der NSDAP war er 1945 für kurze Zeit in Heilbronn interniert.
Seit 1982 vergibt der Neckar-Odenwald-Kreis einen "Arthur-Grimm-Preis" an junge Künstler.