潘美不但是北宋建國功臣和名將，“平嶺表、定江南、征太原、鎮北門”，兵馬平生，軍功赫赫。 並且他的品德也是值得稱道的。據丁傳靖從《順手雜錄》、《默記》等宋、元、明、清的方誌、雜史等約五百餘種著作中編錄而成的《宋人軼事彙編》所記，“太祖初自陳橋入城，周恭帝即衣白襴乘肩輿出居天清寺，世宗節名，而寺其功德院也。太祖與諸將同入內，六宮迎拜。有二小兒丱角者，宮人抱之，亦拜，詢之，乃世宗二子紀王、□王。顧諸將曰：‘此複何待？’擺佈即提去。惟潘美在後以手揑殿柱，低頭不語。太祖曰：‘汝覺得不成耶？’美曰：‘臣豈敢覺得不成，但於理未安。’太祖即令追還，以其一人賜美，美即收之為子，而太祖後亦不複問。厥後名惟正者，是也。……名夙者，乃厥後也。夙有才，為名帥，其賢明有自也。”惟正在《順手雜錄》中稱名惟吉，潘美收養柴榮的這個小兒子後，對他很好。後惟正為刺史。以上記錄雖不見野史，但據祝治平盧苗安柴存才的《周世宗柴榮後嗣今安在？》一文先容，浙江省東陽市《寀盧村誌》也有“過後潘美抱養紀王熙謹；盧琰抱養七皇子蘄王熙誨（柴炯）” 記錄，可見潘美收養柴榮之子是失實的。
在北宋剛建立，麵對前朝天子的後代，宋太祖不歡暢，趙普等又說“去之”，潘美“勸……不殺，則……必致疑”的環境下，能以“於理未安”停止諫阻，使柴榮的這兩個兒子倖免一死，並且還收養了此中一個，把他當作本身的親兒子對待，表現了潘美的膽識與勇氣，也說瞭然他為人的刻薄和仁善。
開寶三年（970年）玄月，任潭州防備使的潘美為賀州道行營兵馬都擺設，率兵伐南漢。據徐光烈《續資治通鑒長編選譯》譯錄，“之前，南漢攻取桂州和連州今後，都把本地群眾趕出來，不準住在城裡”。潘美霸占兩州時，“號令州縣長官招安群眾，建立裡門，給他們簡易的房屋居住”。潘美率兵安定了廣州後，他知廣州。在知廣州期間，按照朝廷詔令。“赦免了廣南轄區內州縣普通大赦所不赦免的人……冇有合法來由的賦稅和分攤全數免除。免除開寶三年之前的欠租。流亡山林之人免罪，招引他們返來……發放糧倉的糧食佈施饑民。……製止嶺南人買布衣在臉上刺字為奴婢，讓彆人雇去以獲得酬謝”。按照朝廷詔命，“全數拔除嶺南各州在劉鋹統治期間的苛捐冗賦，布衣從戎的免除兵籍，招誘逃亡的人返來出產……製止嶺南各州擄掠人中賣作奴婢”，嚴禁官吏和地主兼併欠稅人之妻女作抵押。同時，還把從被南漢放火燒掉的劉鋹宮殿灰燼中拾到的玳瑁、珍寶等全數進獻上了朝廷。