Als um 1350 die Stadtmauer nach Süden erweitert wurde, erhielt dieser Mauerabschnitt gleich zwei Tore: Nahe am Rhein das Tor neben dem Roten Turm und weiter oben am Hang das Tor am Weißen Turm. Notwendig war das, weil seit der Römerzeit sich die Fernstraße von Mainz nach Koblenz in Oberwesel in zwei Parallelstraßen teilte. Eine ebene Straße führte am Rhein entlang, war aber nicht hochwasserfrei.
Die andere verlief mit vielen Steigungen am Hang entlang, war aber hochwasserfrei. Beide Straßen mussten durch Tore gesichert werden. Der Weiße Turm am Südende der Stadt wurde wie der ihm entsprechende Koblenzer Torturm am Nordende der Stadt als Schalenturm gebaut. Die Tordurchfahrt konnte auch hier durch Fallgatter und Tore geschlossen werden. Auf alten Stadtansichten ist zu erkennen, dass dieser Torturm nicht nur einen hölzernen Wehrgang hatte, sondern ein besonders hohes, mit Aufbauten verziertes Pyramidendach. Er war ja lange Zeit das repräsentative Entree in die Stadt von der Liebfrauenkirche her. Vor dem Tor lag ein tiefer Stadtgraben, den eine Brücke überspannte. Deren Bögen sind heute wieder sichtbar.
In den Jahren 1862/63 wurde der Turm von einem holländischen Kaufmann erworben und in neugotischem Stil zu einem Wohnturm umgebaut.
Die neben dem Tor gelegene alte Dechanei riss man damals ab und ersetzte sie durch einen Neubau.
Daher der Name "Villa Nova".