横山勇的如意算盘是：衡阳东为湘江，强渡困难；北有蒸水，进攻也颇不易。因此他决定将主力放到西南两面。西南两面皆为丘陵高地，占领了这些高地，衡阳就在自己的控制之下了。届时，第10军官兵不突围，就会被消灭在湘江与蒸水之间的三角地带。
6月23日至26日，横山勇命令六十八师团、一一六师团一面派得力一部迅速突破耒水国军防线，尽快解决湘江东岸前哨、飞机场及东岸市区等处战斗。一面乘势在距衡阳三十华里湘江上游之东阳渡，强渡湘江，将主力移至湘江西岸的衡阳主城区，分从西南两面向衡阳猛扑过来。同时命令独立第五旅团突破第10军第3师第8团在衡山的阻击，快速向衡阳的西北方向进逼。
方先觉针锋相对，将两个主力师之预备第10师防守主阵地——汽车西站至湘江大桥一线；之第3师防守汽车西站到辖神渡一线；第190师则守自草桥、石鼓嘴到湘江防线之泰梓码头一线；暂编第54师（实际只有一个营）在城内守泰梓码头至湘江大桥一线。
英勇的衡阳保卫战开始了，方先觉为了振作士气及便于指挥，特意将军指挥所设于衡阳南郊五桂岭上的湘桂路局内，距前线仅300公尺。日军几次冲到他的指挥所前面，但他仍沉着镇静地指挥战斗。他的表现起到了稳定下属官兵情绪的作用。官兵们见军长如此镇静，也都镇静下来。
日军第一期攻势在6月26日正式展开。火车西站附近的停兵山和高岭成为日军进攻的首要目标。停兵山和高岭是国军预备第10师第30团的防守的江西会馆和临江高地五桂岭达到前哨警戒阵地，分别驻一个连和一个排的兵力。
6月27日拂晓，日军两个师团又一个旅团，附属野战炮兵第一二二联队，共计山野炮六十余门，同时猛攻衡阳城，预计一天之内解决战斗，足见日军猖狂之极。这时候，日军合围衡阳的战略部署有全部完成，各方兵力、武器装备配置已经到位，所有部队像足发条的弹射机一样，绷紧了所有的力量。国军第10军预备第10师自然首当其冲。只见敌人步炮协同且陆空配合发动了空前猛烈的攻势。敌炮连续攻击，敌机不断轰炸并投下大量的燃烧弹。衡阳城内和守军阵地上，一片火海，城内火势连续几天都不能控制。
日军攻取长沙之战，因绕行湘江西岸，直取岳麓山而占了一个大便宜。围攻衡阳的日军也有一部自湘江西岸而来，以为像攻长沙一样，还想轻取豪夺，突然攻其不备，志在必得，气焰十分嚣张。日军择其重点，大胆突进，首先进攻城西南的预备第10师30团江西会馆、五桂岭，29团虎形巢一线阵地。日军自湘北新墙河一路突进，势不可挡；在此次首攻衡阳的战斗中，更是使用人海战术，蜂拥而上。但数次冲锋均告失败，却仍不思悔改，稍敛骄气，频繁冲击，屡次陷入第10军的巧妙构筑的工事的优势火网之中。越是这样越感迷惘，越不得要领，造成更大伤亡。
方先觉不但亲临前线指挥战斗，还在战斗间歇去一线阵地慰问前线官兵。在一次激烈的战斗后，第10军特务营少尉排长刘先州跟随方先觉军长，在葛先才师长的陪同下来到张家山阵地，视察一线阵地。葛先才将军大声对守卫阵地的官兵们说：“弟兄们，军长亲临前沿阵地来看望慰问我们啦！大家鼓掌欢迎并表示感谢！”哗，阵地上一时掌声雷动，战士们很受鼓舞，战斗情绪高昂起来。葛先才接着说：“军部战斗指挥所就在我们侧后方的五桂岭；军座就在我们身边指挥战斗。都给我听好了，给我狠狠地打！谁怕死、后退，谁就不是我预备第10师的兵！坚决打好这一仗，大家有没有信心？”“有！”官兵们坚定有力地齐声答道。方先觉指着机枪手罗炳武的机枪掩体笑道：“兄弟们打得好啊！我们的阵地前就是敌人的坟墓！”
高岭为张家山和枫树岭两大据点之间的一个小丘陵，只驻有守军一个排兵力，相距两大据点约400米。日军指挥官以为高岭是一个孤立的小据点，一个冲锋就可唾手可得。占领高岭后，便可钳制和分散张家山和枫树山的火力，再发起冲锋就可力克两阵地。没想到，待一百多名日本兵冲至高岭阵地时，先是被预设的地雷阵炸得东歪西倒；待到剩下的日本兵回窜时，又遭到张家山、枫树山两大据点的侧射火力网的夹击，进攻的日本兵绝大部分被歼，只有少数几个人逃回。