Das Gebäude stand ursprünglich in unmittelbarer Nachbarschaft zum Schloss Philippsburg, damals einer der bedeutendsten und größten Barockbauten am Rhein. 1801 wurde Schloss Philippsburg von den Franzosen zerstört, das Dikasterialgebäude hingegen blieb erhalten.

In dem weltlichen Verwaltungsbau des Kurfürsten von Trier war unter anderem das kurfürstliche Gericht untergebracht. Der Bau diente zwischenzeitlich auch als Residenz, Truppenunterkunft, Lazarett, Sitz der nassauischen Regierung und Proviantmagazin. 1936 wurde das Dikasterialgebäude zu Bürozwecken umgebaut. Im Zweiten Weltkrieg wurde es teilweise zerstört und 1947 wieder errichtet.