Das Tor wurde von 1764-1766 im Auftrag von Erzbischof Sigmund Graf Schrattenbach unter der Leitung von Ingenieur Elias von Geyer errichtet. Die Portale wurden von den Brüdern Wolfgang und Johann Hagenauer gestaltet. Der Bau war zu dieser Zeit eine architektonische Meisterleistung.
Direkt über dem Tor hat sich der Auftraggeber des Baus verewigt: mit seinem Bildnis und der eindrucksvollen Inschrift: „Te saxa loquuntur“ – „Von dir künden die Steine“.
Der Plan, eine Verbindung der Stadt mit den Vororten herzustellen, bestand schon seit geraumer Zeit, denn in der Stadt herrschte ein großer Mangel an Bauplätzen. Das erste Vorhaben im 17. Jahrhundert scheiterte allerdings: Das Projekt, den Mönchsberg von oben zu durchschneiden, wurde schon bald aufgrund der enormen Kosten eingestellt. Noch heute sind die Kerben zu sehen.
Ab 1765 wurde der Mönchsberg unter Leitung von Elias von Geyer durchbrochen. Die Fassaden wurden durch Wolfgang Hagenauer gestaltet. Das Neutor wird übrigens auch als „erstes Ruinendenkmal Österreichs“ bezeichnet. Der Tunnel des Tors soll ein gotisches Gewölbe darstellen, der Vorbau die Ruinen Juvavums, der einstigen Römersiedlung.
Das Tor wurde zweimal nachträglich verändert: Es wurde von den Brüdern Hagenauer verbreitert. Im Jahr 1968/69 wurden zusätzlich ein Fußgängertunnel und ein Radweg angelegt.
Das Neutor steigt wegen des Wasserabflusses und wegen des günstigen Lichteinfalls gegen die Riedenburg hin an. Der Neigungswinkel ist so angelegt, dass sich das von der Riedenburger Seite her einfallende Licht am Boden bricht und reflektiert wird. Auf diese Weise war im Stollen tagsüber keine zusätzliche Lichtquelle nötig.