Die ehemalige Herzogburg Alte Veste in der Marstallgasse 4 geht auf die zweite Hälfte des 13. Jahrhunderts zurück. Später wurde es als Marstall und Palais genutzt. Umbauten (u.a. die Dachkonstruktion) erfolgten um 1600, eine Neugestaltung (Stuckdecken und Treppenhaus) im 18. Jahrhundert.