在襄阳大战的时候，关平大军悄悄来到了南阳盆地，南阳郡治所就在原来的宛城，如今改成南阳了。
南阳城四面是山，中间是个凹地，所以叫做南阳盆地。南阳盆地的西北面是伏牛山和熊耳山。东南面是桐柏山，东北是一些丘陵地带，往南而下就是襄阳和樊城。
此处土壤肥沃，人口众多。是曹魏保护洛阳和许都的南大门。
当年宛城一战，张绣差点把曹操杀死，得亏他的保镖典韦以死相拼才得以逃脱，他的长子曹昂在战争中死了，典韦也被乱箭射。在张绣投降曹操之后，曹操就一直派大将曹仁驻守襄樊一带。可见襄阳地理位置的重要。
从南阳一直向北穿越伏牛山中的山谷，可直达洛阳，向东南穿过桐柏山。可以直达武汉和合肥。向南可以直达襄阳、樊城以及荆州。向西通过汉水河谷可到达汉中，向西北经过武关可直达关中地区。正可谓四战之地。
襄阳和樊城是直面荆州大军的前沿阵地，守住了襄阳和樊城，南阳盆地及洛阳和许昌都是安全的，如果襄阳失守，那么南阳和洛阳将陷入无险可守的境界。南阳如果再被攻下，洛阳和许昌就危险了，所以在关羽水淹七军的时候，曹操才有迁都的打算。
由于有襄樊二城20万大军镇守，南阳郡城反而兵力并不算多，只有3万左右。南阳郡太守是杨俊。深受曹操器重，任南阳太守多年，多兴办学校，天下名仕，青年才俊常来南阳求学或以文会友。关平得知曹植与杨俊关系很好，遭到曹丕记恨，如果曹丕不被抓，一两年后必被曹丕处死。
于是来到南阳后，先让大军四面围城，派张苞在西面，姜维在北门，轲比恶在东门，自己在南门。
到了城下，关平让军兵架好井阑和投石车。在城下对着城上喊:“上面的军兵听了，我乃大汉征北将军，如今南阳城已被我军四面包围，让太守杨俊出来答话。快速禀报一声。”守城的军兵早就看到了，立刻去城中报信。不多时，杨俊来到城门上。关平说道:“杨太守，我素闻太守勤政爱民，兴办学校，培养人才，天下名仕，青年才俊皆慕名而来，是不可多得的人才，今曹操专权，残害忠良，曹丕篡汉，天下共愤，杨太守乃是忠义之士，何不趁机归顺，弃暗投明，共同讨伐曹魏。还九州太平，百姓安乐可好？”。
杨俊说道:“我受曹丞相知遇之恩岂能背叛？誓与此城共存亡！”
“你真是迂腐之至！曹丕因你和曹植相交深厚，必杀你，你还要替他卖命不成？”关平问道。
“胡说八道，我与曹植乃诗文交流，非为弄权。身正不怕影子斜，有何惧哉？”杨俊说道。
“既然你如此执迷不悟，那我可要攻城了，到时候，城内百姓涂炭，皆你之过也！”关平愤愤道！
“攻城！”关平一声令下，30多辆井阑和投石车齐发。
刹那间，南阳城楼上箭雨下了起来，石头也不断砸向城内。城墙上和城楼上的士兵来不及躲闪。全部被砸死，射死。不到十分钟，城楼上以及城内20米内就没人了，其他士兵都不敢上前了。与此同时，云梯被士兵搭上了城墙。半小时后，蜀军攻上了城墙，很快占领了门楼，士兵们砍断吊桥，一部分士兵在城楼上向城内士兵射箭，一部分下的城来，打开城门。
不到一个小时，南门被拿下。关平率大军攻入城内，连弩兵像扇面一样向四周射击，城内士兵不断的被射死，倒下。曹军吓得赶忙后退。同样的攻城在其他三门也在进行。南阳城很快被蜀军攻破。四路大军不断压缩着曹军的范围。两个时辰后，曹军被包围在了府衙周围的地方。这时候杨俊彻底慌了，没想到蜀军如此勇猛，攻城器械如此厉害。看着不断死去的士兵，不由得后悔连连。
这时候，关平让士兵们齐声呐喊:“放下武器，投降不杀，否则乱箭射死，大汉优待俘虏，都不要再做无畏的反抗了。”
刚喊完三遍，许多曹军扔下了武器。其他人见有人投降，生怕慢了被射死，赶紧扔了武器跪在了地上。不到一刻钟，南阳城中的士兵全部投降。只剩下一个站着的，正是杨俊。此时他看着四周的军兵，全都跪在地上，心中更加不是滋味。长叹一声，拔出宝剑就要自刎，关平手疾眼快，射出一支弩箭，正中杨俊的手臂。当啷一声，宝剑落地。
关平让士兵上去把杨俊带了过来。说道:“杨太守，你这是何必？强力攻城，实属无奈，杨太守如今应该看清局势了吧？我大汉将士如狼似虎，武器强大，攻击力强悍。必然一扫六合，统一九州。此番攻城，就是为了消灭群雄割据的分裂局势，让将士们能够早日马放南山，卸甲归田，还百姓一个太平盛世，四海升平。杨太守这样的人才正是大用之时啊！”
杨俊听罢，十分惭愧，向关平深施一礼，“杨俊誓死跟随关将军！”关平搀扶起杨俊。然后让张苞对着降兵讲解“蜀四条”。降兵听了十分高兴，愿意参军的有一万多人，想回归田园的有多人。死了6000余人，伤了5000多人。关平让姜维安排蜀军和降兵一起打扫战场，掩埋尸体。贴布告安民，救治伤员。让杨俊继续做南阳太守，禀报诸葛亮后，丞相派许天明来协助杨俊守城。
关平安排杨俊在南阳西部，丹江河谷及盆地中建设屯田，这些降兵正好可以安置下来，并把陈仓的屯田、安置小区建设的样式和管理方法告诉了杨俊，在南阳建设试点。由于到了秋季，南阳的小麦正在种植中。关平让投降的士兵们帮助百姓耕种，大大增进了百姓的好感。关平给大家约法三章，绝对不能拿百姓一针一线。