Po zrušení procházel klášter opět velmi složitým obdobím. Mezi lety 1782 a 1792 byl využíván karmelitkami od sv.Josefa a dominikánkami od sv.Anny ze zrušených klášterů v Praze a r.1793 byl nabídnut do dražby, která však nebyla úspěšná. Areál pak byl pronajat továrníkem Joštem z Jihlavy a sloužil jako továrna na sukno.
Dne 5.2.1807 proběhla opakovaná dražba a celé panství Pohled, Termesily a Rouštány koupil Josef, hrabě z Unwerthu. Zde opět začíná období prosperity, kdy se v Pohledu staví. Za hrabat z Unwerthu (resp. Silva-Tarouca Unwerth) dochází k postupné přeměně kláštera na zámek a na hřbitově byla postavena kaple Panny Marie s rodovou hrobkou. V tomto období se na zámku zdržovali a malovali i Josef Mánes a jeho sourozenci.
Na Štědrý den r.1864 byla v Praze podepsána kupní smlouva mezi Eugenem, hrabětem Silva-Tarouca Unwerth a Klotyldou, hraběnkou Clam-Gallas o koupi velkostatku Frauenthal (Pohled) "tak jak to stojí a leží". Hraběnka velkostatek nabyla 1.1.1865 a v držení jejím, jejích dcer a její neteře velkostatek zůstal až do nacistické okupace r.1939.