八月十五中秋節那天，翠玉公主產下一子，名叫中秋，滿月後，靈玉便叨教皇上，他想到杭州去居住，皇上承諾了，並且要求製作莊院的銀子都有朝廷出，但皇上有個前提，就是朝廷有事必要他時要隨叫隨到，靈玉也承諾了。
無極山莊完工後，開端購置傢俱，又是到第二年三月才辦好。三月十八這天，靈玉入住無極山莊，這天非常熱烈，杭州各地官員，江湖上的朋友都前來慶祝，客人來交常常歡慶三天賦罷了。
現在靈玉已是名振西域，他們一上路動靜就傳出去了，一個俊男和八個美女那就是大明的飛虎大將軍，千萬彆去惹他，不然你就是死路一條。一起走來，各個城裡鬍匪匪賊的探子，見到靈玉她們都趕快歸去報信，他們去報信不是打算如何擄掠，而是讓他們這段時候千萬彆去打劫，以免碰上靈玉他們而召來殺身之禍。好人傳聞他們來到唯恐避之不及，哪另有敢來拆台的，以是靈玉他們一起通行無阻回到都城。
靈玉讓佟雲飛騎馬先走，到杭州先租一處院落留住，靈玉和幾位夫人，丫環用人從通州上船經運河朝杭州進發。達到杭州後，佟雲飛便把靈玉他們接到所租院落，安設好後便帶著夫人們上船遊西湖，一邊旅遊湖光山色，一邊在選建本身莊院地點，最後看中西湖西南一座山嶽下臨湖山坡下有一大片開闊平坦之地，是一個建莊院好處所。
靈玉送走洪峰，又和家人聚樂幾天便單身解纜朝東南本地而去。