史书记载，周世宗柴荣共有七个儿子，其中他的前三个儿子都与后周太祖郭威的两个亲生儿子一起被后汉隐帝刘承祐所杀（这也是为什么郭威传位给养子柴荣而不是亲生儿子的原因）。柴荣的第四子便是周恭帝柴宗训了，柴宗训在七岁的时候即位，又在“陈桥兵变”之后禅位给了宋太祖赵匡胤。
《新五代史·周家人传》记载，柴荣的另外三个儿子分别是柴熙让、柴熙谨、柴熙诲，并且说“皇朝乾德二年十月，熙谨卒。熙让、熙诲，不知其所终”。但是有一些宋朝的笔记却给我们记录了柴熙谨和柴熙诲的另外一个版本的结局。
第一、北宋文人王铚的《默记》
《默记》记载，周恭帝柴宗训在“陈桥兵变”之后便禅位给了赵匡胤，随后搬出皇宫到天清寺居住。有一次，赵匡胤前往天清寺探望时，看到跪拜在路边的原后周后宫的太监、宫女中有两人非常特殊——她们竟然各怀抱着一名男婴！赵匡胤派人询问之后，才知道这两个男婴正是柴荣的儿子，于是“艺祖顾诸将云：‘此复何待’？”，随即令侍卫将他们“提去”。
在场的所有大臣都不敢做出反应，因为任何反应都可能被现任皇帝怀疑为不忠，也更不敢替这两个孩子求情了。赵匡胤发现只有大将潘美用手掐着廊柱低头不语，赵匡胤便问他：“你觉得不应该吗？”潘美则回答：“我哪里敢觉得不应该呢，只是于情于理都觉得不安啊！”赵匡胤随即命侍卫将那俩孩子带回来，将其中的一个交给潘美收养，这个孩子即史书中记载的潘惟吉，赵匡胤对他终生没再过问。
第二、北宋王巩的《随手杂录》
《随手杂录》同样是说赵匡胤看见宫女怀抱着周世宗的儿子，他问身边的大臣应该怎么处置。赵普的回答只有冰冷的两个字：“去之”，只有潘美低头不语，在赵匡胤的一再追问下，他也不做任何回答，沉默良久之后，赵匡胤说：“即人之位，杀人之子，朕不忍为也”。此时，潘美才解释到：“我要劝陛下杀了他们，便对不起周世宗；若劝陛下留着他们，便是对陛下不忠”。于是，赵匡胤将这两名男婴都交给了潘美抚养，“其后太祖亦不问，美亦不复言。”
这两个北宋文人的笔记讲了类似的故事，再加上赵匡胤豁达的为人，所以他把周世宗的儿子交给潘美收养之事是有一定的可信度的。
