Die in Form eines Fünfecks errichtete Stadtmauer ist zu einem beträchtlichen Teil noch in etwa acht Meter Höhe erhalten. Sie hatte ehedem fünf Tore (Kirchtor , Viehtor , Koblenzer Tor (nicht erhalten), Josefstor und Rheintor und sechs Türme (Scharfer Turm )Wie ein Stich aus dem 19. Jahrhundert zeigt, liegt der Rheintor-Turm Wand an Wand zwischen zwei Wohngebäuden - ein glücklicher Umstand, dem wahrscheinlich zu verdanken ist, dass man den Turm 1689 nicht auch noch zerstörte. Ein Abriss oder eine Sprengung wäre nämlich nicht möglich gewesen, ohne die angrenzenden Häuser zu gefährden. Im 19. Jahrhundert hat das Tor allerdings sein schönes gotisches Dach mit seinen Ecktürmchen verloren. Einer von zwei überlieferten feindlichen Überfällen auf die Stadt spielte sich hier am Rheintor ab: Am 23.09.1647 legte am Rhein ein Schiff mit 140 hessischen Soldaten an, die durch das Rheintor in die Stadt eindrangen und diese für Hessen-Kassel in Besitz nahmen.