Pod terasami na zámeckém vrchu zaujme v zúženém místě Pivovarské ulice každého kolemjdoucího výrazný měšťanský dům U jelena. Turisté, místní i mládež z nedalekého gymnázia se tu potkávají s automobily a často tu dochází k dopravním zácpám. Na ten shon blahosklonně shlíží hlava jelena s opravdovým parožím a krucifixem. Dům je totiž ozdoben nástěnnou malbou znázorňující legendu o svatém Hubertovi, v které šíje a hlava jelena s parožím přechází z malby v plastiku. Na vedlejším arkýři dokresluje atmosféru lovu malovaný výjev lovce se psy a lukem v krajině. Již tyto motivy zřejmě podpořily tradovaný názor, že tento dům byl původně myslivnou nebo alespoň sídlem člověka pracujícího v lese. Dům U jelena je jedním z nejstarších domů mimo náměstí a dodnes se tvrdošíjně drží legenda, že jde o vůbec nejstarší měšťanský dům ve Vimperku. Ta je však poznatky z posledních restaurátorských prací, které provádí na domě od devadesátých let 20. století jeho současná majitelka, účinně zpochybněna. Současná podoba domu se klade do 17. století, původní malby na fasádě jsou o století mladší. Malebný vzhled domu zvýrazňuje kromě arkýře a maleb s plastikou jelena ozdobné kamenné schodiště do prvního patra. Při opravě v roce 2005 se v jeho útrobách našly písemnosti z doby jeho poslední rekonstrukce v roce 1908. V malé plechové krabičce byla i německá báseň, inspirovaná velkým požárem Vimperka v roce 1904. Složil ji budějovický písař Ludwig Stadler.