1894 heiratete er seine Cousine Victoria Melita von Edinburgh. Die Ehe galt als unglücklich. Auch gab es Gerüchte über seine Homosexualität und außereheliche Verhältnisse mit Männern und Frauen. Die Ehe wurde 1901 geschieden. Melitta, so hieß es, habe ihren Mann 1897 mit einem männlichen Bediensteten im Bett erwischt. Sie habe zu ihrer Nichte gesagt, dass "kein Junge in Sicherheit sei, von den Stallburschen bis zur Küchenhilfe. Er schlief ganz offen mit ihnen allen."
1905 heiratet Ernst Ludwig seine zweite Frau, Eleonore zu Solms-Hohensolms-Lich. Diese Ehe wurde als glücklich beschrieben.
Ernst Ludwig betätigte sich auch als Autor, Dichter und Komponist. In Darmstadt galt und gilt er als Förderer der Darmstädter Künstlerkolonie. Durch ihn wurde Darmstadt zu einem Treffpunkt wichtiger Architekten, Bildhauer, Künstler und Handwerker und zur deutschen Hauptstadt des Jugendstils, heißt es bei Wikipedia.
Ernst Ludwig erhielt eine militärische Grundausbildung und erfuhr vielfache Beförderungen. Er begann 1884 im 1. Großherzoglich-Hessischen Infanterie (Leibgarde-) Regiment Nr. 115 und legte 1888 in Berlin das Offiziersexamen ab.
Die Technische Hochschule Darmstadt verlieh ihm am 6. Juli 1900 die Ehrendoktorwürde.
Der 9. November 1918 hatte auch Folgen für das Großherzogtum Darmstadt. Auch im Lager Griesheim hatte sich ein Arbeiter- und Soldatenrat gebildet. Nach einem Bericht von Heinrich Delp (SPD) im Hessischen Landtag wurde die Lage in der Arbeiterschaft als "ruhig und besonnen" bezeichnet. In der Nacht vom 8. auf 9. November versammelten sich etwa 5.000 Soldaten vor dem Neuen Palais und drohten es zu stürmen. Dem SPD-Abgeordneten Delp gelang es jedoch, sie zur Rückkehr in die Kaserne nach Griesheim zu bewegen. Carl Ulrich forderte den Großherzog zur Abdankung auf, die dieser jedoch ablehnte. Es folgte die Amtsenthebung.
Daraus ergaben sich Fragen, wie mit dem Großherzoglichen Vermögen verfahren werden soll. Eine sehr schwierige Frage, denn privates Eigentum und Staatseigentum wurde in der Regel in Monarchien eher nicht getrennt.
Nach Knodt habe es genug Stimmen gegeben, "die eine ersatzlose Enteignung" forderten. Die Sozialdemokraten als nun "staatstragende Partei", widersetzten sich diesen Forderungen. Nach langen Verhandlungen wurde am 16. April 1919 dem Hessischen Landtag eine "Vereinbarung mit dem früheren Großherzog wegen des Überganges der Hausdomänen in das Landeseigentum" vorgelegt. Der ehemalige Großherzog sollte eine Jahresrente von 440.000 Mark erhalten. Die Hausdomänen (Grundbesitz) sollten zu Staatseigentum erklärt werden. Auch wegen der Inflation wurde darüber wiederholt diskutiert. Dies hier im Detail darzustellen, wird aufgrund der Kompliziertheit verzichtet und auf den Aufsatz von Stieniczka verwiesen.
Über diese Frage wurde auch reichsweit diskutiert. Die Kommunistische Partei Deutschlands (KPD) forderte im Jahr 1926 eine entschädigungslose Enteignung der ehemaligen deutschen Fürstenhäuser und stieß ein erfolgreiches Volksbegehren an. Der anschließende Volksentscheid am 20. Juni 1926 scheiterte jedoch.
In der Folge kam es zu erneuten Verhandlungen, die im Vertrag vom 6. Mai 1930 zwischen dem Land und dem Großherzog endeten. In diesem Vertrag wurden die Regelungen von 1919 weitgehend bestätigt und die Entschädigungssumme (vor allem im Hinblick auf die Inflation) auf 8 Millionen Goldmark festgesetzt.
So gab es im Jahr 2017 und 2019 eine öffentliche Diskussion über die Verwendung des Lange Bäuche, dem ehemaligen Reitstall am Friedensplatz in Darmstadt, das sich immer noch in der Verwendung der Familie Prinz von Hessen befindet. Eine angestrebte Vermietung an den Landesverband der Sinti und Roma scheiterte letztendlich an der Höhe der Mietkosten.
Doch zurück zum Großherzog und seinem Verhältnis zur NSDAP. Mitglied der Partei war er nicht, aber zu einer Diktatur, einem Diktator und später zu den Nationalsozialisten äußerte er sich sehr wohl.
Ernst Ludwig hatte bereits am 12. September 1921 notiert:
Die Auswertung der Tagebücher von Fabian von Massenbach ergab auch, dass sich der ehemalige Großherzog im November 1931 mit Hitler auf Schloss Kranichstein in Darmstadt traf.
Durch Forschungen von Thomas Aufleger ist seit 2023 bekannt, dass er die Machtübernahme der Nationalsozialisten und den Führer Adolf Hitler begrüßt hat. Zu seinem 65. Geburtstag am 25, November 1933 notierte Großherzog Ernst Ludwig folgende Sätze: