当初太子担忧地位不保，便令新丰人王辅贤制做了巫术诅咒之物，被杨坚察知之后，便在仁寿宫派杨素回京去观察杨勇的行为。
此时的杨素早就因为弟弟杨约的劝告投向了杨广，因此杨素到了东宫，便停住不进。杨勇换好衣服等待杨素进来，杨素故意很久不进门，以此激怒杨勇。杨勇这个人没什么城府，见杨素失礼因此便怀恨杨素，并在言行上表现出来。也是，在杨勇心里怕是想杨素算什么东西，也敢怠慢他。
杨素心机多深，回去就向杨坚打小报告：“太子心生怨恨，恐怕会发生变故。希望圣人多多防备观察。”杨坚本就对太子心生芥蒂，因此听了杨素的谗言和诋毁之词，对杨勇更加猜疑了。
“圣人，太子怕是反心由来已久。当初我奉旨到京师辅助皇太子查核刘居士的余党。太子接到诏书，脸色大变，表情非常愤怒，他对我说‘刘居士的余党都已伏法，让孤到哪里去追究呢？你作为右仆射，责任不轻，你自己去查核此事吧，关孤什么事！’又说‘当年代周时的禅让大事要是不顺利，孤先得被杀，如今父亲作了天子，居然让孤还不如几个弟弟，凡事都不能自作主张！’还长叹说‘孤觉得太不自由了。’太子殿下素来与刘居士交好，刘居士被处置之后，太子陷入自危当中，一直怕事发。今悍然发动兵变，阴谋篡位，怕也是计划已久的事情。”
其实杨素的话并没有太大虚假，但杨勇的这些话都是有特定场合的。若是搞文字狱掐头去尾找上几个片段，谁都有可能被说成犯罪。况且空口无凭。这些内容的真伪对众人来说还真不好辨别。
但杨素现在已经权势颇重，又得杨坚信任，因此也没人敢反驳他。
众人再看看原本为太子求情的杨广，他倒是没什么表情，但老神在在，不发一言，跟谁都欠他二百万钱的一样，一时之间也不敢多指望。
杨坚听了倒没有怀疑杨素说得是假话，只是情绪更加的低落。他本来是想替这个长子求一条生路的，但一上来杨素就连番实锤，让亲近杨勇的人话都说不出口。若这样下去，杨勇就要非死不可了。
杨坚可能这两日真的心头受伤了，也没什么精神，脸上憔悴了不少。他坐在龙椅上，一手扶着桌案，一手轻拂过额头，有些吃力的样子。
最前边的杨广还以为杨坚身体不适，赶紧一副孝子状上前询问，但被杨坚制止了。
“这个儿子朕很早就觉得不能够继承皇位了，皇后老劝朕废黜他，但朕认为他是朕作平民时生的，又是长子，希望能多给他些机会，使其能够逐渐改正错误。朕克制忍耐到现在了，本来以为他能知错······
唉！
杨勇曾经指着皇后身边的侍女对人说‘这些都是孤的’，你们说这话说的是多么地奇怪啊。
长宁王刚出生时，朕和皇后一起抱来抚养他，杨勇却心中另有想法，连连派人索要。况且云定兴的女儿，本来是云定兴在外面私合而生，想到她的出身来历，又何能说必定是他的子女呢？以前晋太子娶了屠户的女儿，他的儿子就喜欢屠宰之事。如今他们不是咱们这一类人，会乱了宗祠。朕虽然德行不及尧舜，但终归不能把天下百姓交付给品行不端的儿子！”
杨坚的话说得急了，不住地咳嗽，杨广忙上前替他抚平前胸。而低下众人则面面相觑，圣人这是要下决心了。