Nach juristischem Studium in Landshut trat A. 1808 in den bayerischen Verwaltungsdienst ein, war Armeekommissar beim bayerischen Heer, Verwalter des französischen Vogesendepartements und später der Gebiete zwischen Rhein und Mosel, Regierungsdirektor des neuerworbenen bayerischen Rheinkreises, anschließend in Augsburg und Regensburg Mitglied der 2. Kammer des Landtags und von 1826-1831 Minister des Innern, des Äußern und der Finanzen.

1832 wurde A., als Mann mit großer Verwaltungspraxis, Präsident des dreiköpfigen Regentschaftrates in Griechenland für den minderjährigen König Otto. Die anderen Mitglieder des Rates waren Georg Ludwig Ritter von Maurer und Karl Wilhelm von Heideck.Durch eine Anleihe der Großmächte wollte A. das Regime festigen, bei der Auseinandersetzung zwischen den drei Schutzmächten Rußland, Frankreich und England suchte er vor allem Rückhalt in London. Er baute in dem durch Fremdherrschaft und Krieg zerrütteten Lande eine Finanzverwaltung nach westlichem Muster auf, eine äußerst schwierige Aufgabe, da ein geschultes Beamtentum völlig fehlte. Er ordnete die innere Verwaltung und veranlaßte die Abfassung von Gesetzbüchern. Zudem ließ er eine bayerische Schutztruppe aufstellen. Die griechische Kirche erlangte unter seiner Präsidentschaft die Unabhängigkeit vom Patriarchat in Konstantinopel. Aber die Bevorzugung nichtgriechischer Persönlichkeiten in Heer und Verwaltung kosteten auch viele Sympathien.

Nach König Ottos Volljährigkeit (1.06.1835) wurde A. Staatskanzler. Während des Königs längerer Abwesenheit 1836/37 führte er die Regierung mit allen Vollmachten. Nach dessen Rückkehr schied A. am 14. Februar 1837 aus seinem Amt aus, da der König größere Selbständigkeit in Regierungsgeschäften wünschte. Fortan lebte er völlig zurückgezogen auf seinen Gütern in Egg bei Deggendorf.

Armansperg, Roswitha Gräfin von: Josef Ludwig Graf von Armansperg. Ein Beitrag zur Regierungsgeschichte Ludwig I. von Bayern. (Diss.) München 1949.