V nekdanje dni slave in razkošja na tem gradu pred 300 leti nas povede njegov tedanji gost in obiskovalec Janez Vajkard Valvazor. V enajsti knjigi Slava vojvodine kranjske na straneh 173 do 182 takole pripoveduje o njem: Grad Lisičje stoji na lepem in ugodnem kraju Dolenjske, miljo in pol hoda od Ljubljane. Ponosno se dviga na hribu in že njegova zunanjost vabi človeka, da si ga ogleda. In res nudi očem obiskovalcev in gostov mnogo užitka in veselja, kajti poleg krasnih vrtov in vinograda ima tudi lep prijazen ribnik. Vsa poslopja: grad, pod in pristava so lepo skupaj. Po kranjsko se imenuje grad Lisičje, ker se v okoliških gozdovih potikajo lisice v velikem številu.
Dvorec Lisičje je v prvi polovici 16. stoletja sezidal Pankracij pl. Baričevič. Njegov drugi lastnik je bi Ivan Khiessl, po letu 1587 pa je grad prenovil Lenart Merharič, katerega dediči so bili tudi lastniki sosednjega dvorca Ganjiče (Ganitschhof). Leta 1710 je postal lastnik dvorca Lisičje deželni svetnik Karel Jožef pl. Coppini. Leta 1803 je dvorec na dražbi kupil baron Franc Karl Haller von Hallerstein. V nadaljevanju je dvorec še nekajkrat zamenjal lastnike, pred drugo svetovno vojno pa je bila njegova lastnica Mary Lloyd iz Trsta. V grad, kot ga še danes imenujejo domačini, so v drugi svetovni vojni pred Nemci pribežali Salezijanci. Ob koncu vojne so ga zasedli domobranci, po vojni pa so se v njem naselile družine, večinoma družine delavcev iz bližnjega rudnika barita. Grad z dragoceno opremo je bil po vojni postopno izropan. V njem se je v petdesetih naselila jugoslovanska vojska. Od konca šestdesetih je približno dve desetletji sameval, dokler ga ni prevzel Arhiv Slovenije in v zadnjem obdobju Občina Škofljica.
V 15. stoletju so Auerspergi pozidali v Želimljah lovski dvorec Namršelj (Hammerstill), večje enonadstropno poslopje s strmo dvokapno streho, bolj podobno pristavi kot gradiču. Predelano enonadstropno poslopje z vhodnim stolpastim prizidkom je sedaj v privatni lasti.
