橫山勇也意識到國軍在下一盤大棋，還判斷出第9戰區薛嶽準備在衡陽地區複製三次長沙會戰所用天爐戰法，但他並沒有太擔心，雖然右路日軍失敗了，湘江以西日軍沒有站住腳，但左路有第3、27兩個師團、中路有58、68、116師團、獨立第17混成旅團，長沙還有第34、64師團。橫山勇不認為國軍有一次消滅日軍兩個師團的能力，況且長沙、衡陽、醴陵、安仁日軍還可以相互配合。

7月11日第68師團在左，第116師團在右，對耒水以北何家山、耒水以西泉溪兩處陣地發起總攻，此時衡陽湘江以東部分的防守薛嶽下令交由戴海歐負責，防守何家山、泉溪的是第10軍暫編第54師，這個師參與過常德會戰，下轄160、161兩個團，師長饒少偉，曾任第9戰區司令長官部少將高參兼辦公廳主任。饒少偉160團部置在何家山，泉溪部置了161團。何家山、泉溪洡水對岸戴海歐各部署了新3軍1個團支援，兩地還配屬了新3軍部分炮兵支援。

日軍攻勢非常猛，暫編第54師也不示弱，得到洡水對岸新3軍炮兵的支援後，暫編第54師打得有聲有色。衡陽機場留守的25架美軍P40戰機頻繁升空支援暫54師，日軍進攻部隊受損頗大。日軍航空隊也飛臨戰場上空，但被美軍航空隊驅逐，保證了暫54師防守陣地不受日軍航空隊的騷擾。日軍以大隊或中隊為單位對國軍各陣地發起波浪衝鋒，國軍外圍陣地下斷淪陷，暫54師在有效射殺日軍有生力量後有序後撤，這也是暫54師部置在何家山、泉溪陣地的目的。

暫54師師長饒少偉沒有奢望自己一個師能擋住日軍兩個師團，只要能多殺一些鬼子就是勝利。暫54師的後方有新3軍、暫2軍支撐，將士們沒有了後顧之憂，按照戰前部署全力阻擊日軍。戰鬥從白天一直打到了黑夜，何家山、泉溪仍牢牢掌握在暫54師手中。第68、116師團也急眼了，沒有因為夜幕降臨而停止戰鬥，反而是加強了進攻，後半夜兩地暫54師被壓縮到洡水岸邊區域。戴海歐見損耗日軍目的已達到，命令暫54師逐步從何家山、泉溪撤回洡水對南（西）岸。

至12日拂曉，何家山暫54師160團大部已撤回，日軍第116師團試圖控制洡水上的粵漢鐵路橋樑，一個大隊的日軍緊追最後一批撤退的160團後衛部隊上了鐵路橋。戴海歐就在洡水南岸一線觀戰，他待160團後衛全部過了洡水下了大橋，才下令工兵對鐵路橋進行了爆破。鐵路橋在爆炸中帶著700多名小鬼子倒進了洡水之中，有200多小鬼子僥倖踏上洡水南岸，但在新3軍、暫2軍全力圍剿之下，很快被消滅，日軍待在北岸只能乾瞪眼，無能為力。在泉溪第161團在有效殺傷日軍後也撤回了西岸，橋樑同樣被工兵爆破了，中日兩軍隔河對峙。

橫山勇對戰鬥的結果非常不滿意，雖然日軍佔領了兩處陣地，但最關鍵的突破耒水防線目標卻一無所獲。他命令第58師團沿洡河南下到上游尋找渡河地點。第58師團師團長川修雄人有點失神，他想起了洣水甘溪偷渡的第57旅團第61、62步兵大隊。川修雄人帶著第58師團跑到了上游30多公里的茶市夜間偷渡，對岸渡口村只有國軍一個連的部隊警戒，日軍偷渡成功。聽到槍聲，暫2軍一個團趕來增援，但形勢已不可挽回，日軍已上岸了2千餘人，只能接應警戒連且戰且退，退回引龍頭嶺、老山各塘、東陽渡南線既設陣地。

第58師團強渡成功後，趁夜對國軍陣地發起了進攻。南線陣地有新2軍2個團、暫2軍1個團共計3個團的兵力，利用遍佈的山塘及既設陣地死死擋住了日軍，第10軍190師連夜馳援，穩定了南線陣地。翌日拂曉第68、116師團又開始強渡洡水，衡陽東防區一時槍炮聲四起。戴海歐雖然壓力很大，仍從容調配部隊，頂住了日軍的連續3天的進攻。駐守衡山的新3軍1個師與第58師交接了城防後，也緊急南下經衡陽趕到了衡陽東防區，日軍3個師團仍未突破防線。

橫山勇壓力山大，大本營斥責他只用3個師團發起進攻，延誤1號作戰計劃的執行，明令他調集第3師團、第34師團南下，橫山勇頂不住壓力，執行了大本營的命令，放棄了他自己的“以衡陽為誘洱調茶陵周圍國軍出山地”作戰構想，日軍第27師團一部退守醴陵、瀏陽，一部退守安仁。

3天后第3、34師團趕到戰場，第34師團接替第68師團防禦，第3、68師團從南線發起進攻，南線國軍形勢危急。戴海歐命令南線部隊交替掩護退到五馬歸槽、酃湖、灣塘、湖東寺至蜈公橋一線陣地。日軍跟蹤追擊，第190師在這一線既設陣地阻擊，成功接應到後撤部隊，後撤部隊立即投入防守，擋住了日軍的進攻。衡陽東防守面積減小，兵力密度增大，日軍進攻受挫。

橫山勇命令第3、68師團從東陽渡跨過湘江抵達衡陽西南郊，與防守衡陽的第10軍外圍部隊交上了火。北面第116師團也接到命令，從洡水北岸繞道泉溪，經東陽渡到達衡陽西南，衡陽及衡陽東中日兩軍全線激戰，第68師團有向衡陽城以西迂迴的跡象。

日軍參與衡陽之戰已達到5個師團，第9戰區司令長官薛嶽也在調整部署，命令第74軍第57師餘程萬部進入衡陽城，暫時劃歸第10軍方先覺部指揮。命令第74、100軍南下，第79軍王甲本部東進，要求儘量接近衡陽城，但又和衡陽保持一定距離，盡力避免被軍發覺。