其实褚燕之所以看到轻骑兵出现伤亡之后便马上退兵，是因为老刘在他带兵出营之前，曾经向他交待过，今天攻城的主要目的是震慑城中的匈奴士兵，让他们知道轻骑兵的厉害，不能让轻骑兵出现大量伤亡。因此他才在开始的时候尽展轻骑兵所长，一上来便消灭了近千名匈奴士兵，但是不管怎么说，只要攻城就必然会有伤亡，而且如今是匈奴人守城，占了地利，因此汉军如果强行攻城，也不是攻不下单桓城，但是估计即使攻下了单桓城，轻骑兵的伤亡也会不小，因此褚燕才让已经过了护城河的轻骑兵马上退回来，等他们回到高平等人身后，褚燕命令高平带着那一千名轻骑兵继续用连弩和标枪向城墙上的敌人发动攻击，他已经看出了城中的匈奴士兵并不是很多，因此只要汉军躲在他们的弓箭射程之外，用连弩和标枪攻击敌人，就会逐渐消耗敌人的兵力，使得城中的匈奴骑兵不断的减员，这样汉军在最后敌人的兵力消耗的差不多时在发起致命一击，单桓城必可一鼓而下。
看到汉军故技重施，呼衍青急忙指挥匈奴士兵继续按照刚才的方法，城墙上留下的少量士兵都躲在墙垛下边，监视城外汉军的动静，而其他士兵则全都撤到城墙下边比较安全的地方，这样即使汉军的攻击再猛，匈奴士兵的伤亡也会比刚受到这种方式的攻击时少的多。
看到城墙上的匈奴士兵都躲到城墙下边去了，褚燕便指挥汉军再次渡过护城河，竖起云梯向城墙上发起了第二次攻击，而匈奴士兵有了第一次胜利的经验，因此也不再向开始的时候那么惧怕汉军了，这次他们的防守做的更好，轻骑兵同样在丢下了几十具战死士兵的尸体之后，再次撤回到了城外的安全地带。
经过了两次的攻防之后，时间也已经到了中午时分，褚燕看看单桓城也不是能够轻易攻下来的，于是便带着轻骑兵返回了大营，先让轻骑兵吃饱了肚子之后，下午再接着攻打单桓城。
结果到了下午，汉军故技重施，仍然用上午的方式来进行攻城，虽然这次比上午的战果要好一些，曾经有几个轻骑兵竟然顺着云梯爬上了城墙，只是由于呼衍青亲自带着他的亲兵与城墙上的匈奴骑兵拼死攻击，才把轻骑兵的攻势挡了下来，而呼衍青自己也受了轻伤，等到了傍晚时分，汉军停止了攻城之后，呼衍青派手下的一名千夫长去清点了一下如今城中士兵的人数，结果经过一天不算激烈的战斗，原来的五千名匈奴士兵如今还剩下三千人，另外根据千夫长的统计，他们今天也消灭了大约二百多名汉军。
虽然两军的伤亡人数悬殊，但是呼衍青也知道这主要是由于刚一接战时汉军的那两种武器所造成的，毕竟匈奴士兵从未见过那些武器，因此才会出现较大的伤亡，后来的战斗由于自己指挥得当，死伤的士兵就比开始的时候少得多了，能剩下三千人也算不错了，于是呼衍青让大家赶紧休息吃饭，等到了子时，他便带着这些人弃城而逃，去追赶呼衍王单于的大队人马。
城外的老刘和戏志才早已经知道了城中匈奴人的打算，前天晚上汉军的探子便发现大部分匈奴人已经逃离了单桓城，队伍中的老人、妇女和孩子也不少，因此老刘和戏志才得到消息后，便知道这是匈奴人打算继续向西逃跑了，这也正中老刘的下怀，因此老刘和戏志才商量了一下，决定不去追杀他们，毕竟给他们留下一定的实力，也便于他们将来在西方的生存，至于城中剩下的那些士兵，今天通过双方几次拉锯式的攻防战，也被轻骑兵消灭了不少，估计剩下的那些匈奴士兵今晚也该撤退了，戏志才本来还想建议派一支队伍去他们逃跑的道路上设下埋伏，将其一网打尽，但是后来一想老刘所说过的话，还是给他们留下了一条生路，所以戏志才最后也没有把这个主意说出来，也正因为如此，才令呼衍青带着的三千匈奴士兵当晚顺利逃出了单桓城，然后趁着夜色消失在通往西方的道路上。
第二天一早，老刘派文丑先带着几名亲卫队员去城里看看，城中如今的情况如何？文丑听说就让他带几个亲卫队员前去单桓城打探消息，不禁对老刘道：“主公，昨天保安他们可是带着三千人攻打了一天，也没有打下单桓城，今天您让我就带几个人去，您就不怕我这一去就回不来了？”
老刘和他身边的戏志才差点儿都笑出来，还是戏志才道：“文将军，主公让你带几个人去，自然有他的道理，如果我猜的不错的话，现在单桓城已经成了一座空城，因此主公才会放心让你前去打探消息，你就不要担心了，赶快去执行主公的命令吧，如果你进入单桓城了，没准主公一高兴，便把攻下单桓城的功劳记在你的头上了。”
听戏志才这么一说，文丑才明白了其中的原委，于是便急忙告辞了老刘和戏志才二人，然后出了大帐，叫上几名亲卫队员跟着他一道，前往单桓城打探消息。
虽然戏志才给文丑交了底，但是文丑还是有些不放心，因此几人小心翼翼的接近了单桓城，果然城墙上已经看不到有匈奴士兵在把守，也没有任何人向他们放箭，到了城门处，文丑派几名亲卫队员从昨天轻骑兵搭在护城河上的梯子上过了护城河，然后再把云梯竖起来，爬上了城墙，果然没有受到任何的阻拦，看来城中的匈奴士兵是真的跑了，等亲卫队员从城上把吊桥放下来之后，他们又下了城墙把城门打开了，文丑便挥舞着长枪，威风凛凛的纵马进入了单桓城。
果然城中没有一点儿声音，街道上到处都是匈奴人临走时扔下的破烂，文丑和几名亲卫队员在城里沿着街道绕了一圈，也没有发现一个匈奴人，文丑这才相信了戏志才的话，便急忙带着几名亲卫队员返回了汉军大营。
进了大营之后，文丑跳下战马，一路小跑着冲进了老刘的大帐，然后急忙对老刘和戏志才道：“主公、军师，你们猜的果然没错，单桓城已经成了一座空城，城内不管是匈奴士兵还是普通百姓，都已经不在城中了，看来他们昨天晚上都跑了，请主公给我一支队伍，我这就去追上他们，把他们全部杀光。”
戏志才道：“文将军，你可知道匈奴人向哪里逃跑了？再说了，匈奴人号称是从小在马背上长大的民族，他们不管是男女老幼都会骑马，只要他们比你早走两个时辰，你便很难追上他们，文将军觉得我说的可对？”
文丑一想，戏志才说的确实没错，自己一是不知道匈奴人往哪个方向逃跑了，二是即使知道他们逃跑的方向，可匈奴人比自己走的早，凭他们的骑术，自己也确实很难追上他们，因此文丑只好挠了挠头，嘿嘿的笑了几声，不再说什么了。
老刘马上传下命令，大军立即进城，反正如今这里已经成了一座空城，但是不能因此便不去占领，为了能够将原来的北匈奴之地牢牢掌控在自己的手里，老刘与戏志才商量了一番之后，决定留下王当带领两千名轻骑兵和两千名鲜卑骑兵驻扎在这里，有了单桓城的存在，他们也不用再去费力建造军营了，反正现在城中也没有什么百姓，因此就把单桓城直接改成军营便可以了。
根据探子的回报，昨晚逃出城的匈奴骑兵也是向西方逃走了，估计是去追前天逃走的同伙去了，老刘知道这些匈奴人到了西方之后，便会逐渐的征服当地的统治者，将那些地方逐渐变成他们自己的国土，而且他们也不会再回大汉的领土来捣乱，因此从攻打西部鲜卑至今，老刘带领的大军经过一个多月的连番征战，终于完成了预定的目标，将原来属于西部鲜卑和其他小国的大片土地都纳入了大汉的版图之中。
为了能够保证单桓城中的驻军有足够的粮食和其他后勤供应，老刘和拓跋疆商量了一番之后，决定等回到平北城之后，再把平北城中的鲜卑族人迁移几万人来这里居住，有了他们进行放牧和种植庄稼，这里的土地肥沃，水草丰美，因此用不了多长时间，就可以成为一个塞外的鱼米之乡。
本来老刘还想越过北匈奴与乌孙国的边界，到南边的乌孙国去看看，试探一下他们的军事实力，如果有可能，就一并把乌孙国也打下来，免得留下乌孙在这里，还是一个不安定的因素。
但是戏志才劝老刘道：“主公，我们这次的北伐，先不说其他几路大军的战况任何，单是我们这一路，已经为大汉增加了相当于几个幽州那么大的地盘，如果其他几路大军也都奏凯而还，那么我们就会使大汉的版图比原来多了几乎一半，这些地方虽然可以算作我们幽州的土地，但是难免会有人嫉妒主公的战功，无端生出许多是非来。”