这样一来，整个扬州城就乱套了。当官的、当兵的、老百姓，都急着出城，就在城门那儿挤成了一团。在这种情况下，这些逃跑的大臣和军士不但不先保护百姓，反而乱刀乱棍砍杀拥堵的百姓，以便清出道路自己先跑。百姓们群情激愤，把矛头一起指向了汪伯彦和黄潜善这两个奸相。百姓们说，要不是这两个奸贼祸国殃民，皇上不至于扔下我们不管，于是，大家喊着要杀掉这两个奸相泄愤。但是，这两个奸相比谁跑得都快，百姓们自然逮不着他们。这时，另一个姓黄的大臣要出城，命他的随从驱赶堵路的百姓。随从们一边驱赶百姓一边喊，快躲开，黄老爷要出城。百姓们一听说是黄老爷，以为这是奸相黄潜善，于是大家一拥而上，拳打脚踢，棍棒齐下，就把这位姓黄的大臣打死了。这个倒霉的大臣，本来要出城逃命，没想到却做了黄潜善的替死鬼。
到了杭州，赵构听说杭州有个郊县，叫仁和县。当年，太祖皇帝发动“陈桥兵变”，在陈桥驿登基，就是从仁和门进的东京汴梁。赵构现在听说杭州有个仁和县，非常高兴，心想，太祖皇帝进仁和门，我现在到了仁和县，这说明太祖皇帝神灵保佑，我即位是天意，我们大宋中兴有日啊。他也不想想，太祖皇帝的神位都被他扔给金国人了，太祖还能保佑他这个不肖子孙吗？
杭州毕竟有长江之险做屏障，金军不会很快攻过来，所以，赵构就在杭州安顿下来了。安顿下来之后，赵构罢免了汪伯彦和黄潜善两人的职务。一方面是因为这两个人的名声已经太臭了，再用他们会引起公愤。另一方面，赵构也觉得这两个人误国。当然，皇帝不是因为汪伯彦和黄潜善巧言令色、善于谄媚而觉得他们误国，赵构更不喜欢李纲、宗泽这样整天吵着收复失地、迎回二圣的大臣，他是觉得，这两个人在骗他，整天说天下无事，只要朝廷乞和，金国人就会同意，结果造成金军兵临城下，自己从扬州仓皇出逃的窘局。汪、黄两个奸相被撤掉之后，赵构又任命朱胜非为宰相，王渊为枢密使兼御营都统制
就在赵构一路南逃的过程中，金国大军也迅速挥师南下。金军进攻的速度之所以这么快，是因为宋朝多数城池的官兵都不战而降。金军所到之处，基本都是城门洞开，宋朝的官兵不是举着降书顺表跪在地上苦苦求饶，就是早已经跑得不知去向。当时，金军的统帅是完颜宗翰，他派自己手下的部将率领五千轻骑一路南下，继续追击赵构。
当时，也有很多忠义之士奋起抵抗金军。其中，有一个特别感人的故事，是说金军攻占了一个州城，守将投降了，金国将领就领着一千多个金兵入城。金军刚走进城，宋军中有一个叫唐琦的卫士，突然从怀中掏出一块石头，向金军投去。但是，唐琦这一投并没有打中金人，于是就被金兵抓了起来。金国的将领觉得非常奇怪，就问唐琦，你们主帅都投降了，你不过是一个小小的卫士，为什么还要冒死做这种无谓的反抗呢？唐琦义正词严地回答，我虽然只是一个小小的卫士，但尚知忠义，我生为宋臣，死做宋鬼。
金将听了唐琦的话，对旁边投降的宋将说，你是一城主帅，可气节还不如手下的卫士。这个宋将听完，惭愧难当。唐琦转身对自己的主帅说，我一个月的俸禄只有一石米，尚知道以死报国，你世受皇恩，享有高官厚禄，而今金军南下，却只知开城投降，你这么做，百年之后有何面目见列祖列宗于九泉之下？唐琦的这番话，让这个宋将惭愧得恨不得找个地缝钻进去。金国将领感叹唐琦是义士，问他愿不愿意投降金国。唐琦说宁死不降。于是，金将就把他杀了，唐琦慷慨殉国。
赵构有自己的一套理论，他说，死守都城、死守社稷这样的事情，应该是诸侯干的，而不是天子干的。赵构认为，过去春秋战国时候的诸侯国小，有外敌来侵，那些诸侯因为没地方跑，所以就只能死守城池。但是，他现在贵为天子，江山广阔，可以到别的地方重整旗鼓，卷土重来，所以绝对不能干那种死守社稷的傻事。他还给自己找了个论据，说当初李纲劝我的父兄死守东京汴梁，结果靖康之役中，我的父兄同时被捕，如果当时逃出来，那不就没事了吗？他说这话也不觉得愧疚，要是当时徽钦二帝逃跑了，现在还有他什么事啊？赵构由此得出结论，自己绝对不能干抵抗的傻事，就是得逃跑。有了这套逃跑理论，赵构逃跑起来就顺理成章了。金国大军一路南
（本章未完）