建安十年（205）10月，曹操回到了邺县。
此次出征历时整一年，但收获颇丰，攻下了南皮，扫荡了幽州残敌，将袁熙、袁尚赶到了塞外，原来袁绍控制地区的北方四个州中，冀州、青州、幽州已全部占领，加上并州的高幹已经投降，扫平北方的目标看来实现了。
但是出了意外，就在曹操回师邺县时，并州刺史高幹发起了叛乱。这有点儿不太好理解，袁氏势力尚在时不叛乱，现在却要叛乱，高幹不知道是怎么打算的。
高幹不是弱智，也许这里面另有隐情，比如他投降曹操时会不会有约定，要曹操保证袁氏兄弟的安全，曹操杀了袁谭，赶跑了袁熙和袁尚，还把袁熙的妻子给自己当了儿媳妇，所有这些，让高幹无法忍受。
所以，在时机选择上高幹也没有太多考虑，他如果早有预谋，就不会选择在建安十年（205）10月起兵，因为这时曹操率主力已经回师到邺县。真想大干一场的话，应该在曹军主力激战于南皮时动手，或者最少也应该比现在提前两三个月，在曹操率主力打到现如今的北京市密云水库一带时动手。
把叛乱的时间定在这个时候，注定不会有什么奇迹发生。
并州刺史部的范围约相当于今山西省大部、陕西省北部地区以及内蒙古自治区的河套一带，现在的太原、大同、呼和浩特、包头、榆林、延安都在其内，治所是太原郡的晋阳县，即今山西省太原市。由太原郡向东是上党郡，上党郡与邺县所在的冀州刺史部魏郡之间只隔着一座太行山。
上党郡太守是曹操的人，高幹把他抓了起来，之后进军并占领了太行山中的军事要塞壶关，妄图以太行山为依托抵挡曹军的进攻。
壶关，太行山里的一个山口，也称壶关口或壶口关，位于今山西省壶关县，属长治市，北有百谷山，南有双龙山，两山夹峙，中间空断，山形像一把壶，所以称为壶关。
曹操派乐进和李典为前锋进击壶关，随后他亲率大军赶到，于建安十一年（206）正月把壶关围住，高幹留下部将夏昭、邓升守城，自己前往南匈奴单于那里求救。
袁熙、袁尚投奔的是蹋顿乌桓人，除此之外，袁氏的传统盟友里还有一支少数民族武装是南匈奴，南匈奴单于于扶罗跟袁绍关系密切，官渡之战时南匈奴也派兵为袁绍助战。
现在于扶罗已经死了，他的兄弟呼厨泉继位，呼厨泉看到曹操势力日益强大，不敢与他为敌，对于高幹的请求，呼厨泉不予理睬。
高幹无奈，只得带着几名随从前往荆州刺史部，要找刘表搬救兵，但路上被一支地方武装截住，高幹就这样被杀了。
这支类似于民兵或民团的武装组织首领叫王琰，是上洛都尉。上洛是哪里不详，或许与洛阳有关，因为高幹由并州南下荆州有可能路过河洛一带，而都尉相当于县公安局局长。
王琰把高幹的首级呈送给曹操，立即被封了侯，受到大家的羡慕。只有一个人高兴不起来，整天待在屋里哭，她就是王琰的妻子。因为王琰从此将要富贵，就会娶更多的小妾，从而会夺走对自己的爱。
没有高幹，壶关这场仗按说不用打了，但结果不是。
夏昭、邓升却很顽强，加上壶关城很坚固，曹军久攻不下。曹操火了，发布军令：“城池攻破后，把他们全部活埋！”
但是又打了三个月，还是没有攻下。这就是冷兵器时代的攻城战，易守难攻，从之前的郯城、雍丘到东武阳、下邳、邺县，以及之后的陈仓之战，都是在力量悬殊的情况下打得旷日持久，常常几个月甚至一年都攻不下来。
曹仁看出了问题，他向曹操建议：“围城的时候最好让城里的人看到他们还有活路，现在要是让他们感觉只有死路一条，他们必然会奋力抵抗，加上敌人城固而粮多，我们硬攻必然会有很大伤亡。位于坚固的城池下，去攻打必死的敌人，不是上策。”
曹操接受了曹仁的建议，城内的敌兵很快投降了，曹仁因此被封为都亭侯。曹仁的建议里应该还有更具体的攻城方案，不然城里的敌兵也不会轻易投降，这个方案是什么没有记载，应该是更改之前的命令，给城里的人留出一条活路，诱使敌兵投降吧。
高幹被杀，壶关攻破，活跃在并州地区的黑山军首领张燕此前已归顺了曹操，被封了侯爵，在这一带有传统势力的南匈奴也表示不愿为敌，并州刺史部的问题也就解决了。
并州刺史部一向独立性很强，就是缘于黑山军、南匈奴这些因素，但它的战略位置又很重要，不说庇护着中原的北部边防，就说河洛与关中的联络，它也占着中间要害的一段，所以并州刺史部的问题如果不能彻底解决，也让人不踏实。
并州刺史部最北部还有自西向东一字排开的四个郡，分别是朔方郡、五原郡、云中郡和雁门郡，尽管地盘很广大，但都不用发兵，基本上传檄可定。
并州刺史部的南面是隶属于司隶校尉部的河东郡、弘农郡，这里一直处在动乱之中，能不能把这些地方也治理好，影响到并州刺史部的稳定。就在高幹起兵的同时，河东郡的张晟聚众上万人响应高幹，弘农郡的张琰也加入进来，他们活跃于崤关、渑池一带，势力逐渐壮大。
河东郡、弘农郡是通往关中的必由之路，如果这里不在控制之中，关中就成为孤岛，这让曹操很头痛。曹操任命的河东郡太守名叫王邑，这个人或者能力不怎么样，或者不太可靠，他的上司司隶校尉钟繇想奏免他。
但王邑在河东郡有一定势力，郡政府属官卫固和地方驻军负责人（中郎将）范先是他的盟友，当时王邑的调任诏书已经下达，但卫固和范先趁机生事，他们赶到长安面见钟繇，以民意为借口要求王邑留任。当时高幹还没有死，卫固、范先表面上为民请愿，实际上是想把局面弄乱，好与高幹暗中相通。
河东郡的严峻形势让曹操忧心，他写信给在许县的荀彧：“关西诸将表面臣服而心怀贰心，张晟作乱于殽、渑，南面与刘表相通，卫固等人又响应他，眼看将酿成大乱。河东郡是天下要地，请先生为我举荐一个像萧何、寇恂那样的贤才去镇守。”
荀彧接到曹操的信，很快回复：“西平郡太守杜畿勇足以当难，智足以应变，正是明公需要的那个人。”
曹操于是任命杜畿为河东郡太守，杜畿字伯侯，关中人，是西汉名臣杜延的后代，20多岁时在家乡当过县长，后避乱于荆州。建安初年曹操在许县招揽人才，经荀彧推荐到司空府任职，后外派为护羌校尉，兼任凉州刺史部西平郡太守。
杜畿走马上任时壶关之战还没有结束，这时能抽调出来随杜畿进入河东郡的人马有限，杜畿索性只带少数随从前往。卫固等人知道后，派出几千人占领了黄河上的重要渡口陕津，这个地方位于今河南省三门峡市附近。
杜畿无法渡河，曹操于是派夏侯惇率部前来增援。但是，大军开到还需要一定时间，杜畿认为河东郡百姓并非想作乱，而卫固等人也没到公开违抗曹操命令的地步，应该先稳住他们。杜畿于是绕道黄河上的另一个渡口豆津，这个地方在今山西省芮城县东南，他从那里过了河，来见叛军首领。对于杜畿的到来卫固和范先产生了分歧，范先想杀掉杜畿，为了给杜畿一个下马威，范先在城门外绑了几十个原郡政府的属官，从主簿开始杀起，一口气杀了30多个，但杜畿居然神态自若。
杜畿超强的心理素质镇住了本来就不想杀害他的卫固，卫固是个不想把什么事都做绝的人，他认为对杜畿杀之无益，徒有恶名，反正他人少势孤，难有作为，于是表面上仍然尊杜畿为太守。
杜畿耐住性子与卫固、范先等人周旋，并悄悄发展自己的势力，分化瓦解敌人，后来他抓住机会，与卫固、范先决裂，双方激战于张辟。正在此时壶关战役结束了，曹操派出的大军也开到了，杀了卫固、范先以及张晟等人，平定了河东郡。
官渡之战结束后，一直到建安十一年（206），曹操用了几乎六年的时间，经过连续作战，把北方四州中的冀州、青州、并州全部纳入势力范围，幽州刺史部除了北面的一部分在公孙度手中，其他大部分也都在曹操控制之下。
至此，基本完成了北方的统一。
对曹操来说，这是手下将士们奋死拼杀的结果。
自从己吾起兵以来，几乎每一天都有战斗，每一仗都有成百上千的人流血牺牲，胜利来之不易，功劳应该归大家。所以，在北方大势初定后，曹操下令对死去将士们的家属、遗孤给予抚恤，对有功的将士们给予封赏。
曹操开始起兵时的身份是奋武将军，勉强算个杂牌军的军长，当时的骨干只有曹仁、曹洪以及夏侯渊、夏侯惇等几个，他们的身份是奋武将军属下的司马或别部司马，类似于团长。后来，随着军队规模越来越大，加入的将领越来越多，曹军的组织体系也发生了很大变化。
到官渡之战时，夏侯惇他们已经升为军长一级的各种名号将军，或者师长一级的中郎将、旅长一级校尉。而曹操手下的一批“异姓将军”，进步更快。官渡之战前后，于禁等人已经晋升为将军、偏将或裨将了，其中于禁、乐进是偏将，还有捕虏将军李典、振威将军程昱等人，张辽、张郃、徐晃也都是裨将或偏将，许褚的军职稍低些，是校尉这一级。
这说明，在曹军中曹氏和夏侯氏兄弟的地位并不是最高的，起码现在仍是这样，他们晋升的速度并不比其他异姓将领更快，甚至还稍稍有些落后。曹操的用人方略历来受到后人的推崇，其中一条就是赏罚分明，平时建立有严格的军功考核、登记制度，该奖的时候必奖，不该奖的时候决不滥奖，避免了奖惩和职务晋升的随意性。
建安十一年（206），曹操从壶关回师后，立即着手考评各位将领的功劳，考评的最后结果，于禁、乐进和张辽三个人的功劳最大，曹操于是上表献帝，对他们三个人予以表彰，提拔他们全部升任军长，其中于禁为虎威将军，乐进为折冲将军，张辽为荡寇将军。
除了武将，谋士们也功不可没，功劳最大的自然是荀彧。早在建安八年（203），曹操就根据荀彧前后所立的功劳，上书献帝表荀彧为万岁亭侯，但荀彧坚决推辞，他是朝廷的尚书令，有关文件需要从他这里传递，荀彧自作决定将其扣下不发。曹操又反复劝说，最后荀彧才肯接受。
到了建安十二年（207）2月，曹操又在邺县表奏献帝，大封功臣20多人，全部封为列侯，其余的也都评出等级予以封赏，这次受封的20多个人名单不详，只知道曹纯的高陵亭侯、张辽的都亭侯等都是这次受封的，想必其他战功显赫的武将们也都封了侯。除了武将，谋士里至少郭嘉、荀攸在这次也得到了封侯，郭嘉受封的是洧阳亭侯。荀彧当初被封为万岁亭侯时食邑是1000户，此次又加封1000户，共计2000户，在亭侯里算是很多的了。
曹操甚至想让荀彧担任三公，荀彧不好当面拒绝领导的美意，就让荀攸出面替自己谢绝，前后达十多次，曹操最终才放弃了这个想法。