Auf der Fläche des heutigen Kajetanerplatz stand bis ins vorige Jahrhundert die Fronfeste oder das Kaltenbierhaus. Seit dem Ende des 15. Jahrhunderts wurde hier das Bier der Brauerei zu Kaltenhausen gelagert und ausgeschenkt. Damals hatte Erzbischof Leonhard von Keutschach die Kaltenhausener Brauererei in seinen Besitz gebracht. Schrittweise versuchten die Erzbischöfe, die gesamte Bierproduktion des Landes unter ihre Kontrolle zu bringen. 1645 wurde die Einfuhr fremden Bieres in die Stadt untersagt. 1659 verbot schließlich Erzbischof Guidobald Thun den bürgerlichen Brauern, ihr Bier an Wirte und Zäpfler zu verkaufen. Die Wirte waren nun gezwungen, ausschließlich fürsterzbischöfliches Bier auszuschenken. Die Auseinandersetzungen zwischen den staatlichen Monopolbetrieben und den bürgerlichen Brauern zogen sich lange hin. Deren größter Trumpf war die bessere Qualität. Das Gebäude wurde im 16. Jahrhundert mehrfach ausgebaut, deshalb waren an der Fassade Wappen von Erzbischof Johann Jakob von Kuen-Belasy und von Erzbischof Wolf Dietrich von Raitenau angebracht.
Ab 1807 wurde das Haus als Kaserne genutzt und kurz darauf unter bayerischer Herrschaft zur Kriminal-Fronfeste, einem Gefangenenhaus, umgebaut.
Der Abriss der Fronfeste erfolgte 1906/07 im Zuge des Neubaus des Justizgebäudes.