可為了謝顯榮與馮氏能夠不喜好，就叫玉娘不要汲引謝懷德佳耦，卻也不能。是以玉娘成心將謝懷德放出去，好生曆練一番，今後更能擔些事，到時再將他超拔起來，倒是名正言順。且謝顯榮與謝懷德兩個都是懂事的，一個肯退一步，另一個總會記些情分，到時謝懷德與謝顯榮相互製衡，又互為依仗，也是功德。
到得四個月後庶吉人任滿，謝懷德公然也叫放了外任。然與齊瑱分歧，齊瑱去的玉山縣雖算不得偏僻，卻也不是個富縣。謝懷德是皇後遠親兄長，又有乾元帝表示，吏部那裡敢難堪他，將他放去了東安州蘭溪城，雖普通是個縣令，因蘭溪是個大縣、富縣，是以民風算得上溫厚，官員在這裡要得個考評優，絕駁詰事。這還罷了，蘭溪離著陽穀城近，快馬加鞭不過大半日路程。為著將謝懷德安排疇昔，原蘭溪縣縣令還叫吏部扔去了樂平州大餘城，也算是頗費了些心機。