Vanaf 1836 werd het paleis door Friedrich Wilhelm IV herbouwd als zomerresidentie naar plannen van Schinkel. In kunsthistorisch opzicht behoren het paleis en zijn park tot de meest opmerkelijke artistieke prestaties van de Rijnromantiek. Naast het park van kasteel Hohenzollern bij Hechingen, eveneens van Peter Joseph Lenné, is het landschapspark van paleis Stolzenfels als enige van zijn basisstructuren bewaard gebleven als romantisch bergpark op een steile helling. De pergolatuin van het kasteel, gepland door de architect Stüler en waarschijnlijk beplant volgens Lenné's ideeën, is een van de mooiste en meest romantische Biedermeiertuinen in zijn soort. In de geest van de Italiaanse Renaissance is het strikt geometrisch ontworpen rond de centrale achthoekige fontein. De terrassen rond het paleis hadden ook een rijk bloeiende struik- en bloemengroei die deed denken aan zuidelijke tuinen. De laatste jaren zijn het park, het paleis en de tuinen grotendeels gereconstrueerd en blootgelegd volgens de oorspronkelijke ontwerpen en nodigen bezoekers uit om er enige tijd door te brengen.