Nach dem Besuch der Oberrealschule, er verließ sie mit der mittleren Reife, absolvierte er eine Banklehre bei der Commerz- und Privatbank in Mannheim. Ostern 1927 legte er nach dem Besuch einer Privatschule in Mainz das Abitur ab. Ab Sommersemester 1927 studierte er Rechtswissenschaften in Gießen, legte im Dezember 1933 die erste juristische Staatsprüfung ab und promovierte am 27. Februar 1935 mit einer juristischen Dissertation über das Thema "Kann das Ablehnungsrecht des Konkursverwalters des Vorbehaltskäufers mit der Anwartschaft des Käufers auf den Eigentumserwerb ausgeräumt werden?".
Während seines Jurastudiums wurde er 1927 Mitglied der Burschenschaft Alemannia Gießen und trat am 23. August 1932 in Worms der SS und kurz danach der NSDAP bei.
Kurzzeitig war er im Vorbereitungsdienst für Referendare im hessischen Landesdienst. Er bewarb sich im Oktober 1934 beim Sicherheitsdienst (SD) des Reichsführers-SS, der ihm am 1. März 1935 als hauptamtlichen Mitarbeiter in Berlin übernahm. Im Frühjahr 1941 meldete er sich freiwillig zu den SS-Einsatzgruppen im Kampf gegen die Sowjetunion.
Das Einsatzkommando unter seiner Verantwortung begann mit der systematischen Ermordung von Frauen und Kindern. Bis zu seiner Rückkehr nach Berlin am 20. Oktober 1941 wurden unter seiner Verantwortung weit über 16.000 Juden in Litauen und Weißrussland ermordet. Wieder in Berlin wurde er wegen Vorwürfen der Unterschlagung und Bestechlichkeit vom Dienst suspendiert und unter Hausarrest gestellt. 1943 wurde Filbert rehabilitiert und wieder im Kriminalpolizeiamt des Reichssicherheitshauptsamts (RSHA) angestellt. Am 4. Juli 1944 wurde er zum Chef der neu geschaffenen Abteilung Wirtschaftskriminalität befördert. Himmler verlieh ihm zwei Monate später das Kriegsverdienstkreuz 1. Klasse mit Schwertern.
Bei Kriegsende tauchte Alfred Filbert unter und lebte unter dem falschem Namen Alfred Selbert bis 1951 in Bad Gandersheim, später in Mannheim und Hannover, wo er bei der Braunschweig-Hannoverschen Hypothekenbank eine Tätigkeit aufnahm. Sie betraute ihn am 1. Januar 1958 mit der Leitung der West-Berliner Filiale.
Am 25. Februar 1959 verhaftete ihn die Kriminalpolizei in seiner Berliner Wohnung Bamberger Straße 49. Die Anklage erfolgte wegen Mordes an einer unbekannten Zahl von Menschen sowjetischer Staatsbürgerschaft. Am 22. Juni 1962 verurteilte ihn das Landgericht Berlin "wegen gemeinschaftlichen Mordes" zu einer lebenslangen Zuchthausstrafe. Dabei stellte das Gericht fest: "Die Beweisaufnahme hat Einzelheiten zu Tage befördert, die eindeutig ergeben, daß Dr. Filbert bestrebt gewesen ist, möglichst alle Juden erschießen zu lassen, deren er habhaft werden konnte, und dass er sich den Juden gegenüber unmenschlich verhalten hat". Der Bundesgerichtshof hatte dieses Urteil 1963 bestätigt.
Aufgrund dieses Urteils wurde ihm von der Universität Gießen die Würde des Doktors der Rechte 1964 aberkannt. Filbert stellte sich anschließend als "Opfer des NS-Regimes" dar. Die lebenslange Strafe für den vielfachen Mörder endete für ihn wegen drohender Erblindung am 5. Juni 1975.
In dem Film "Wundkanal - Hinrichtungen für vier Stimmen" von Thomas Harlan, dem Sohn des im Nationalsozialismus bekannten Regisseurs Veit Harlan, trat Filbert in der Hauptrolle als SS-Massenmörder "Dr. S." auf. Auch hier stilisierte er sich wieder als Opfer.