然而在秦国灭亡之时，匈奴人抓紧时机南下占领了这片土地。当时的主战场在关中偏关东一带，这一片长安城西北侧的土地便被匈奴人悠悠闲闲地占据了。此后汉军虽意图夺回此地，但那时汉国万物凋零，军困马乏，只能暂且放置。
但这块土地已经成了汉国长安城的背上芒刺一样的存在，当年刘邦陵墓修建在哪里的一个目的就是以自己的陵寝为长安城建立瞭望台，所观测和防备的就是这片“河南之地”
然而就在刘启二十二岁那年，这块地方还是出了事，那还是他父亲执政之时。
当时匈奴轻而易举地过了秦长城，长驱直入，就是从河南之地绕过汉军的雁门、马邑、上郡三关直攻长安，并且火烧别宫甘泉。
当时大汉距离国都被破也不过一线罢了，虽然汉军及时发动反击将之驱赶，然而失了颜面却是事实。又过了几年，匈奴从几乎同样的路线入侵，攻打了上郡。
后来文帝痛定思痛，立三军拱卫长安，这便是的历史背景。
对于这块地方，刘启自然也想要夺回来