杜伏威部正好就在江都眼皮底下，为了保障皇帝巡幸的安全，隋派出大将陈陵带八千精锐讨伐杜，陈、杜多次交手，毕竟陈部的训练和器械远强于杜，杜部连连失利。好在陈陵兵力不多，想剿灭杜伏威也不容易，双方打成僵持。
十二月，隋炀帝车驾到达江都，护驾骁果十余万人，声威赫赫。按理隋军应该军心大振，杜伏威难逃灭亡，不料正是杨广的到达给了杜伏威崛起的机会。杨广是皇帝，到了江都自然要考察地方官的政绩，他的考察手段非常简单，专看谁的礼品珍奇，满意的立即升官，不满意的统统没好下场，至于地方官真正的政绩如何，皇帝是没心情去理会的。有这么个皇帝，地方官们自然拼命地刮地三尺，敲诈百姓，所得之金银财宝除了孝敬皇帝，自己的腰包当然也落了实惠。正巧当年是荒年，老百姓本来就已无以为生，再被官府如此压榨，终于造成了一场大饥谨。据记载，老百姓先是吃树皮树叶，后煮土为食，“诸物皆尽，乃自相食”。“自相食”这三个字在中国历史上其实是多次出现，但象江都这样原本富庶之地，又是天子脚下，居然也会如此，那实在是少见的。
其实当时政府的粮仓里有足够的粮食可以救灾，杨广的爸爸杨坚一直很重视国家的粮食储备，就是为了防备万一。如今万一出现了，可皇帝自己正在享受财富和美女，根本不知道城外饿死人，地方官没得到命令，又有谁敢擅自开仓赈济灾民？既然无法从国家那里得到赈济，老百姓就只有自己动手了，杜伏威乘机吸收了大批手下，势力迅速膨胀。这时杜伏威与陈陵强弱之势已经倒转，于是主动向陈挑战。
陈也知道战局不利，因此龟缩不出，任由杜伏威自己去耀武扬威。杜于是派使者给陈送了一套妇女衣裳（三国时诸葛亮也给司马懿送过），并送了陈一个外号叫陈姥（就是陈老太太的意思）。是可忍孰不可忍，陈大将军怒火中烧，全军出战。
这一仗打得十分激烈，杜伏威亲自上阵，不小心被一员隋将暗箭射中，杜怒吼说“不杀汝，矢不拔！”，然后就象夏侯惇一样直冲过去，把那吓呆了的射手斩于马下。陈部士气大挫，被打了个全军覆没，“陈姥”单骑逃回江都去了。杜伏威趁势扩大战果，占据了高邮、历阳等重镇，并在历阳自称总管，封辅公祏为长史。
这时的杜伏威吸取了以前的教训，从部队中挑选最精锐的成员组成自己的卫队，称为“上募”，兵力为五千人。杜把上募作为自己的子弟兵，平时非常宠爱，但要求也非常严酷，每作战必以上募为先锋，战后检查每人身上的伤痕，如伤在背后，即刻处斩，因为那表示其临阵退后。每次战胜，杜伏威都把抢掠到的资财赏给全军，如果手下战死，就以死者的财产甚至妻妾殉葬（残忍啊），因此杜所部皆为杜尽死力，人自为战，所向无敌。杜伏威号令所到之处，江淮间各路小起义军争相归附，郡县纷纷投降，杜的声望和势力不断扩张。
其实这也是老杜的悲哀，林子大了什么鸟都有，他的手下的纪律难免变的很差，所以才会出现烧杀抢掠的事情，虽说有执法队，但是那又能管的了多少了。而他自己对手下的管理是有心无力的，再加上还有旁人牵制，所以他的队伍那是越来越差。
不过这不是本尊考虑的事情，他现在要做的就是和老杜打一架，所以这出场时间要把握好了，那就是在他们吃饭的时候，对于这一点本尊是很会做的。