耀东下令撤退，没有继续进攻，原因是他们担心攻入衡阳城内之后会接替第十军任务，面临无补给、无限期的固守，所以战必涉险不如不战。
所以就这么直接撤退了。
而桂系精锐第四十六军则将新编第 19 师、175 师投入战斗，攻击雨母山、柿江桥东北地区。
特别是新编第 19 师一度攻克雨母山，马上就能进入衡阳城内，但是这个时候配合四十六军的第七十四军撤退了，鬼子可以分兵增援，雨母山得而复失，再一次被鬼子攻占。
而第四十六军在战斗中伤亡太大，不得不后撤休整，准备重新进攻，但是在第四十六军等援军尚未成功解围时，衡阳已宣告失守。
整个衡阳保卫战在守军死守、大部分援军想要保存实力的情况下战败。
方先觉也是在弹尽粮绝的情况下，为了八千多名还活着的士兵，选择和鬼子停战，衡阳失守。