V roce 1672 získává zelenohorský hejtman Daniel František Táborský z Hirschfeldu od majitele panství Václava Vojtěcha ze Šternberka privilegium zvané „hamfest“, kterým udílí jeho domu, právě stavěnému na místě Javorovské poustky, různé výsady a svobody. Opis této listiny v městských knihách je nejstarší písemnou zprávou o historii objektu. O třináct let později, 20. srpna 1685, zachvátil Nepomuk veliký požár, dům Táborských ale zůstal jako zázrakem nedotčen, což dodnes připomíná votivní deskový obraz, zachycující osudnou událost, i mariánská socha, přemístěná ovšem v 80. letech od domu ke kostelu sv. Jakuba.

Sklonek 17. století byl v Nepomuku vůbec dobou čilého stavebního ruchu a byli to právě hrabě Šternberk a jeho hejtman Táborský, kteří se výrazně zapsali do tváře města – ať již novým děkanstvím, špitálem, školou, dostavbou svatojánského chrámu i několika kapličkami nebo přestavbou zelenohorského zámku. Táborského dům pak představoval v organismu města jistý hmotový protipól budovy děkanství, ze severu a východu byl navíc obklopen polnostmi, loukami, rybníky a lesem, s nimiž tvořil malou rodovou državu.

Poštovní a dostavníková stanice „Grünberg“, která byla zřízena již v roce 1639, se usídlila v domě na samém počátku 18. století a v držení rytířů Táborských zůstala po dalších sto let. Každodenní provoz na venkovské poště se v té době skládal nejen z přepravy zásilek a korespondence, ale také ze zajišťování pravidelné osobní dopravy. Na poštovních stanicích, které byly od sebe vzdáleny zhruba 3O km, se přepřahali koně a cestující zde měli možnost se občerstvit i přenocovat. Navštěvovali je tudíž čas od času i někteří vzácní hosté. Dne 5. srpna 1768 na zelenohorské poště dle tradice dokonce nocoval i císař Josef II. Jinak ovšem zelenohorská pošta nebyla příliš vytížená. Od poloviny 18. století patřila k trati České Budějovice-Plzeň-Cheb, kde spoje jezdily dvakrát týdně. Přímo v Nepomuku ovšem zřejmě mnoho cestujících nenastupovalo, čemuž nasvědčují žádosti zdejších poštmistrů uložené v archivu klatovského krajského hejtmanství. V době sepsání tereziánského katastru zde sice vydržovali pět koní, což bylo nejvíc ve městě, rodinu poštmistra ale živilo spíše velké hospodářství, rozlohou největší z nepomuckých rustikálních gruntů.

V první polovině 19. století jsou zelenohorskými poštmistry Josef Bittner, nevlastní syn Josefa Táborského a od roku 1809 také nepomucký purkmistr, a po něm Josef Claudius. V roce 1843 je pošta přenesena do domu čp. 64 na náměstí a novým, nyní již „nepomuckým“, poštmistrem se stává jeho majitel, hostinský a sládek Felix Danner. Stará pošta fungovala dále jako zemědělský statek, umístěna zde ale byla jeden čas i četnická stanice.

V roce 1885 koupila dům s lesem a zahradou od Amálie Vätterové kněžna Vilemína z Auerspergu a připojila ho k pozemkům zelenohorského velkostatku. V letech 1887-88 proběhla radikální rekonstrukce celého objektu, která mu vtiskla jeho dnešní podobu. Tehdejší historizující architektura propůjčila domu výraz římského paláce, poučenému oku ovšem neuniknou eklektické prvky, které se vymykají pravidlům přísného historismu. Po přestavbě vznikly v domě byty ředitele velkostatku a nadlesního, i soukromé knížecí apartmá. Od roku 1907 zde pak sídlil i knížecí lesní úřad.

Po provedení pozemkové reformy, na počátku 30. let, koupili od Auerspergů zbytkový zelenohorský velkostatek manželé Plavcovi z Plzně. Po několika letech se ale i oni rozhodli Zelenou Horu prodat. Rozprodávali ji ovšem po částech, a tak se bývalá zelenohorská pošta stala roku 1937 majetkem města Nepomuk. Městu se dům jevil jako ideální sídlo pro nejrůznější instituce, a tak zde působily berní úřad, městský archiv, školní třída, ordinace lékaře a na chvíli opět i pošta. Po roce 1948 se zde na čtyřicet let usídlil n.p. Státní lesy. Druhá polovina 20. století pak domu nadělila, zcela v intencích doby, několik nepříliš citlivých stavebních zásahů. Namátkou: na přelomu r. 1959/60 přestavbu hospodářských budov na garáže a dílny, při nichž byla nenávratně zničena polovina klenutých stájí, nebo na konci 80. let kompletní výměnu oken i části interiérových dveří – samozřejmě, že za sololitové v kovových zárubních. Do konce století pak dům již víceméně jen pozvolna chátral.

V posledních letech se ale Zelenohorské poště snad začalo blýskat na lepší časy. V roce 2004 získala nového majitele a od té doby je pomalu, ale velmi citlivě renovována. Postupně získává opět podobu, kterou měla na konci 19. století. Do opravené fasády se navrátila dřevěná špaletová okna, v interiérech se znovu objevily kazetové dveře, zpod lina a dřevotřískových desek vykoukly původní prkenné a cihelné podlahy. V některých místnostech byla rekonstruována i dobová výmalba. Ozdobou měšťanského domu 19. století byl samozřejmě sváteční pokoj, salon. Ten zdejší, přestože ještě před pár lety byl předělen několika příčkami, opět vypadá téměř stejně jako v roce 1888 a je možné do něj nahlédnout.

V roce 2010 se uskutečnily i stavební úpravy hospodářských budov – z rozpadajících se garáží se staly opět poštovní stáje. Nenajdete v nich ale žádné hřebce ani valachy, přestože počet zde ustájených koní se počítá na desítky. Prostory totiž slouží od roku 2012 expozici veteránů. Od roku 2015 je v domě druhá expozice ke stavebním dějinám města i domu. Opravy a zpřístupňování dalších prostor pokračuje i v současnosti.