李唐大军的进攻持续了整整三天，杨万春的军队也拼死抵抗，仗着敌人白送的守城工事，安市城的大军生生抵住了进攻。
都说是天意弄人，那一场瓢泼大雨冲垮了土山之后，便戛然而止，第二天就是晴天白日，似乎这场雨就是为着给唐军添乱而来。
在李世民的怒火鞭策之下，大唐的军队爆发出了前所未有的战斗力，却还是未能攻破杨万春固守的土山，反而折损了不少好手，期间李世绩、李道宗和张士贵等人纷纷献策，连着尉迟敬德都老将出马了一回，却还是徒劳无功。
到得第三天傍晚，营盘里升起了炊烟，李世民终于接受了土山无法攻破的事实，下令撤兵，虽然不甘，却也知道此事已非人力所能逆转，那土山已经彻底归高句丽所有，成了其抵抗大唐军士的防御利器。
不过这三日的猛攻，也不是毫无建树，唐军在皇帝天威加持之下，着实勇猛，接连斩杀了安市城几员大将，令杨万春一方也损失惨重，安市城的守军几乎死了三分之一，才将那土山堪堪守住。
大营中，一众将领齐聚一处，李世绩的头低低垂下，瞧着李世民愁眉不展的样子，才听纪颜叹道：“此一役乃是天灾，安市城也损失惨重，若是我们能固守不放，围城数月，或能将安市城攻下。只是如今已是深秋，天气即将转寒，北国冰天雪地，只怕我们撑不了那么久。”
在场者众人大多是中原出身，却也在征讨突厥时见识过天地冰冻的雪灾，就知道纪颜所说不错，一旦熬到入冬，唐军就会陷入被动，前线的军士能否抵御严寒是问题，后发的补给能否跟上也是问题，寒冬降临，辽水封冻，数万大军在辽东便会孤立无援。
长孙无忌暗暗朝纪颜摆手，这才好言对李世民道：“陛下出征数月，战绩斐然，天威所到之处，高句丽闻风丧胆。只是朝中诸事繁杂，国不可一日无君，与其跟小国寡民消耗，不如顺应天时，暂时回转，等待机会，再打过来。”
听他也劝李世民撤兵，一众武将的脸上就都不好看，始终这一次是抱着将高句丽亡国灭种的目标来，却被小小一个安市城拦住回头，就叫他们心中不忿，才听尉迟敬德怒道：“安市城难打，就先不打了！咱们绕过此地，直取平壤城，砍了渊盖苏文和宝藏王的头，再班师回朝不迟！”
此言一出，众人都是一愣，便是这主意似乎也不错，平壤城可不像安市城这般难啃，始终一个是国家首都，一个是军镇重地，职能不同，攻打的难易也就不同。渊盖苏文虽是一代枭雄，却没有杨万春这样的战略意识，宝藏王区区稚子孩童，原本也不足为虑。
归根到底，难办的不是安市城，而是杨万春，没有他的领导，安市城应该早已陷落才对。