Toen de stadsmuur rond 1350 naar het zuiden werd uitgebreid, kreeg dit deel van de muur twee poorten: de poort naast de Rode Toren bij de Rijn en de poort bij de Witte Toren verder op de helling. Dit was nodig omdat sinds de Romeinse tijd de lange-afstandsweg van Mainz naar Koblenz zich in Oberwesel in twee parallelle wegen had gesplitst. Een vlakke weg leidde langs de Rijn, maar was niet vrij van overstromingen. De andere weg liep langs de helling met veel hellingen, maar was vrij van overstromingen. Beide wegen moesten worden beveiligd met hekken. De Witte Toren aan de zuidkant van de stad werd gebouwd als een granaattoren, net als de overeenkomstige Poorttoren van Koblenz aan de noordkant van de stad. De poortdoorgang kon hier ook worden afgesloten met valhekken en poorten. Uit oude stadsgezichten blijkt dat deze poorttoren niet alleen een houten kanteel had, maar ook een bijzonder hoog piramidedak, versierd met bovenbouwsels. Lange tijd was het de representatieve toegang tot de stad vanaf de Liebfrauenkirche. Voor de poort lag een diepe gracht, die overbrugd werd door een brug. De bogen zijn vandaag weer zichtbaar. In 1862/63 werd de toren gekocht door een Nederlandse koopman en in neogotische stijl verbouwd tot woontoren. De oude dekenij naast de poort werd afgebroken en vervangen door een nieuw gebouw. Vandaar de naam "Villa Nova".