Unter den Terrassen auf dem Schlosshügel, wo sich die Straße Pivovarská verengt, nimmt das auffällige Bürgerhaus „Zum Hirsch“ jeden Vorbeigehenden gefangen. Touristen, Einheimische und auch Jugendliche vom nahen Gymnasium treffen sich hier mit Autos, die Straße ist oft verstopft. Ein Hirschkopf mit echtem Geweih und Kruzifix beobachtet herablassend dieses Treiben von oben. Das Haus ist nämlich mit einer Wandmalerei geschmückt, die die Legende des Hl. Hubertus darstellt, und in der der Nacken und der Kopf des Hirsches mit dem Geweih in eine Plastik übergehen. Auf dem Erker daneben ergänzt noch ein gemaltes Motiv des Jägers mit Hunden und einem Pfeil in der Landschaft die Jagdatmosphäre. Bereits diese Motive unterstützten wahrscheinlich die Meinung, dass dieses Haus ursprünglich ein Jägerhaus war oder von einem Waldarbeiter bewohnt wurde. Das Haus „Zum Hirsch“ zählt zu den ältesten Häusern in Vimperk außerhalb des Marktplatzes, und bis zur heutigen Zeit überlebte die Legende, die dieses Haus für das älteste Bürgerhaus in Vimperk hält. Diese Legende wurde aufgrund von neuen Erkenntnissen der letzten Restaurierungsarbeiten, die seit den 90er Jahren des 20. Jahrhunderts seine jetzige Besitzerin durchführt, in Zweifel gezogen. Die gegenwärtige Hausgestalt stammt aus dem 17. Jahrhundert, ursprüngliche Malereien an der Fassade sind um ein Jahrhundert jünger. Neben dem Erker und den Malereien mit der Hirschkopfplastik macht die malerische Hausgestalt auch eine dekorative Steintreppe ins Obergeschoß ausdrucksvoll. Bei der Sanierung im Jahre 2005 wurden in seinem Inneren Schriftstücke aus der Zeit der letzten Sanierung (1908) gefunden. In einer kleinen Blechhülle war auch ein deutsches Gedicht des Budweiser Schriftstellers Ludwig Stadler, der seine Inspiration für dieses Gedicht im großen Feuer in Vimperk im Jahre 1904 fand.