這座城市被稱為中國抗戰紀念城，因此戰而得名

1944年4月，為了打通大陸交通線，日軍發動了「一號作戰」計劃，從河南洛陽到湖南長沙，國軍可以說是一潰千里。到1944年6月18日，日軍攻克了長沙，直逼衡陽。這一路日軍戰無不勝，指揮官橫山勇認為日軍可以迅速拿下衡陽，但出乎意料的是日軍在這裡遭到了前所未有的抵抗。

6月20日，日軍下達了進攻衡陽的作戰計劃，三天後即兵臨衡陽城下，並以兩個師團的兵力發動猛攻，守城的為方先覺的第10軍，而此時第十軍只有一個半師的實際兵力。

方先覺，畢業於黃埔三期，在戰場上從排長一步步干到軍長，抗日戰爭爆發後，方先覺被任命預備第10師師長，參加了淞滬會戰，武漢會戰和三次長沙會戰，久經沙場。

經過三天激戰，日軍掃清了衡陽城的外圍陣地，佔領了湘江東岸的機場，並迅速迂迴到了衡陽之南，對衡陽守軍形成包圍。隨即日軍發起攻擊，以優勢兵力攻擊城南正面戰場上的第10軍陣地 ，僅張家山一處陣地就反覆易手20多次，陣地前留下了上千具鬼子的屍體，在巨大損失下，日軍與7月2日被迫暫停了進攻。

經過一個多周的休整，日軍與 7月11日再次發動總攻。這一次日軍使用了大量燃燒彈、毒氣彈，付出了極大的犧牲後仍無法佔領守城國軍的核心陣地。到7月16日，日軍再次停止了進攻，日軍損失慘重，很多步兵連已經由士官代理連長。

但是日軍仍不死心，17日，再次對衡陽進行轟炸並收縮了包圍圈，但仍然收效甚微，不得不在19日再次停止了進攻，21日又佯裝退兵引誘方先覺出城，計不成，無奈下空投「歸來證」來勸降第10軍，又遭失敗。

而在衡陽的血戰對日本的政治造成了地震，東條英機在日軍進攻衡陽受挫和在緬甸與塞班島的接連慘敗後，引咎辭職。

在衡陽保衛戰的最後關頭，為了解救第10軍，國軍各部均全力支援，無奈日軍在衡陽外圍設下眾多埋伏，始終無法突破日軍防線，第10軍僅靠美軍空投的部分物資維持。27日，中國空軍向衡陽投下蔣介石的手令：「命令第10軍堅守待援。」

橫山勇在思考再三後，把最後的預備隊第13師團和第58師團投入了戰鬥，8月2日，日軍對衡陽發動了最後一波攻勢，橫山勇帶病督戰，四個參戰的師團長更是隨時準備親自上陣。日軍第57旅團長志摩源吉少將親自擔任敢死隊長，帶頭衝鋒，戰死衡陽。戰至8月8日，守軍彈盡糧絕而攻城日軍也損失慘重無力再戰的情況下，雙方交涉，在日軍允許保持軍隊建制與榮譽，以及在救助受傷官兵的條件下，守軍結束抵抗。

衡陽之戰以交涉終戰而結束，並非真正的投降，這一仗打的日軍崇生敬意，抗戰勝利後，國民政府把衡陽定為抗戰紀念城。