隋军与裴文安相持数日，裴文安越发忧心忡忡。眼看对面的隋军实力一日日强大，眼看没几日便和自己手上的兵力差不多了。
裴文安正苦寻破敌之策的时候，杨谅的命令已到达军中。
实际上黄河一战，汉王叛军士气大降，擅自出击的裴文安根本瞒不住杨谅。
西进大军兵败的消息传回并州之后，杨谅大惊，他无论如何也没有想到杨广不仅没有杀死杨素，反而起大兵讨伐于他，更吃惊裴文安三番两次的兵败。
黄河一战，貌似戳破了汉王叛军强大的童话。
这时豆卢毓又劝道：“大王，裴将军兵败，并未杨广之奸计。”
杨谅不解。
豆卢毓乃说道：“大王，您当初筹谋起事，广积兵马，难道杨广不曾知？臣料其不过是想做第二个郑庄公，故意逼大王起兵，他则早在关中布置了重重兵马，等待大王的大军压境。”
杨谅大惊道：“这怎么可能，双方这才交战几日，他哪有这个时间集结各府部队？”
豆卢毓说道：“杨广监国大半年，有什么事是他做不了的？既然我军可以提前布置，为何杨广又不能有所准备？河东有黄河天险，他怎么会愿意在河东大王的地盘上与我军决战。而一旦我军到了关中，其主动权便落入杨广的手上。”
杨谅觉得豆卢毓的话很有道理，反倒相信杨广之前的弱势样子是故意引诱他出击。
这时北据一派的人纷纷言裴文安冒进兵败，丧师辱国，不遵王命，形同悖逆，需要重惩。前些日子裴文安得胜，西进一派的人也纷纷得势；这一次裴文安兵败，杨谅为了平衡势力，同时拉拢北据一派，也只得处置裴文安等人。
杨谅决定主力撤兵，并召回裴文安。
杨谅的令旨到了裴文安的军中，杨谅以隋军势大，难以一战胜之为由，命裴文安立刻撤兵返回并州。以大将纥单贵担任蒲州道行军总管，王聃为蒲州刺史，二人率部四万坚守蒲州。杨谅并命纥单贵破坏蒲州南部的黄河大桥，严防隋军渡河。
裴文安心中大惊，虽然百般不情愿，但他不是真正的领兵将领，在军中并无威望，没了杨谅的任命，他根本无法指挥纥单贵、茹茹天保等将领，因此只得无奈地率军撤退。
裴文安此时心中仍然不甘心，乃上奏杨谅道：“用兵之机，贵在诡速。我直袭关中，本想出其不意，攻其不备。不料大王临阵变策，既不亲征，召我回军，使敌方有了窜息之机，转危为安。如今我军大事去矣！”
裴文安对于杨谅撤兵的做法，既充满了疑惑，又失望至极。
杨谅也觉得愧对了裴文安，心中过意不去，但是他心中仍是觉得要稳妥为上，因此并未对裴文安的话做正面回应，而是继续随心行事，责令众将立即停止进攻，分散防守各地。
也许是杨谅不愿意见裴文安，当然也是为了惩罚裴文安的兵败，杨谅任命裴文安为晋州刺史，即刻上任，而茹茹天保率大军返回。事实上从此刻起，裴文安被排挤出汉王集团的核心圈层。
接着杨谅又任命薛粹为绛州刺史，梁菩萨为潞州刺史，韦道正为韩州刺史，张伯英为泽州刺史，打定了主意坚守。
九月七日，裴文安向北撤兵，临撤退之时，还在蒲坂以北布置了上万军队，准备趁机伏击隋军。