臧霸，字宣高，是泰山郡华县人。他的父亲臧戒，是县里的狱掾，也就是负责监狱的官员。有一次，臧戒根据法律，拒绝了太守想要私自杀人。太守大怒，下令将臧戒抓起来送到府上，当时押送臧戒的人有一百多个。臧霸当时十八岁，他带着几十个宾客在费县西边的山里拦住了押送队伍，把父亲救了出来。押送的人没有一个敢反抗，臧霸就带着父亲一起逃到东海，从此他以勇敢和强壮闻名。
黄巾军起义的时候，臧霸跟着陶谦打败了黄巾军，被任命为骑都尉。后来，他在徐州召集了部队，和孙观、吴敦、尹礼等人一起聚集了很多人，臧霸当了他们的首领，驻扎在开阳。曹操去讨伐吕布的时候，臧霸带着部队帮助吕布。吕布被抓住后，臧霸躲了起来。曹操到处搜寻，找到了臧霸，见了面后，曹操很喜欢他，就让臧霸去招降吴敦、尹礼、孙观、孙观的哥哥孙康等人，他们都来投奔了曹操。曹操任命臧霸为琅邪相，吴敦为利城太守，尹礼为东莞太守，孙观为北海太守，孙康为城阳太守，把青州和徐州的一部分地区交给臧霸来管理。
曹操在兖州的时候，徐翕和毛晖是他的将领。兖州发生动乱的时候，徐翕和毛晖都背叛了曹操。后来兖州平定了，徐翕和毛晖逃亡投奔了臧霸。曹操对刘备说，让刘备告诉臧霸把这两个人的首级送来。臧霸对刘备说：“我能够立足，是因为我不做这样的事。我受了曹操的救命之恩，不敢违抗他的命令。但是，成就王霸之业的君主可以用道义来劝说，希望将军替我转达。”刘备就把臧霸的话告诉了曹操，曹操叹息着说：“这是古人的行为，而你却能做到，这正是我的愿望。”于是，曹操任命徐翕和毛晖为郡守。
当时，曹操正和袁绍对峙，臧霸多次带领精兵进入青州，所以曹操能够专心对付袁绍，不用担心东方的战事。曹操在南皮打败袁谭的时候，臧霸等人去祝贺。臧霸趁机请求派子弟和将领们的父兄家属去邺城，曹操说：“你们忠诚孝顺，难道还要靠这个来证明吗？从前萧何派子弟去侍奉高祖，高祖没有拒绝；耿纯烧毁房屋，带着棺材跟随光武帝，光武帝也没有拒绝。我怎么能改变这个传统呢？”当时，东州很混乱，臧霸等人坚持正义，讨伐暴徒，平定了海岱地区，功劳最大，都被封为列侯。臧霸被封为都亭侯，加封为威虏将军。他还和于禁一起讨伐昌豨，和夏侯渊一起讨伐黄巾军余部徐和等人，立了功，被提升为徐州刺史。
沛国的武周当了下邳县令，臧霸很敬重他，亲自到县令的住处拜访。臧霸的部下从事总詷发现武周有不法行为，武周抓住了从事总詷的罪行，把他抓起来处死了，臧霸更加敬重武周。臧霸跟着曹操去讨伐孙权，他第一个冲上去，两次进入巢湖，攻打居巢，打败了敌人。张辽去讨伐陈兰的时候，臧霸另外派兵到皖县，讨伐吴国的将领韩当，让孙权不能去救陈兰。韩当派兵来抵抗臧霸，臧霸在逢龙和韩当交战，韩当又派兵在夹石拦截臧霸，臧霸打败了他们，回到舒县驻扎。孙权派几万人乘船驻扎在舒口，分兵去救陈兰，听说臧霸的军队在舒县，就逃回去了。臧霸连夜追赶，到天亮的时候，已经追了一百多里，从前后夹击敌人。敌人非常狼狈，来不及上船，很多人跳到水里淹死了。因此，孙权不能去救陈兰，张辽就打败了陈兰。臧霸跟着曹操在濡须口讨伐孙权，他和张辽当先锋。遇到大雨，大军先到了，水涨了起来，敌人的船慢慢靠近了，将士们都很不安。张辽想撤退，臧霸阻止他说：“曹操明白事情的利弊，怎么会抛弃我们呢？”第二天果然有了命令。张辽把这件事告诉了曹操，曹操很赞赏他，任命他为扬威将军，赐予符节。
后来孙权请求投降，曹操回去的时候，留下臧霸和夏侯惇等人驻扎在居巢。
曹丕即位后，臧霸被升任为镇东将军，进爵为武安乡侯，负责都督青州的军事事务。等到曹丕正式称帝后，臧霸又被进封为开阳侯，后来又改封为良成侯。他和曹休一起讨伐吴国的军队，在洞浦打败了吕范。之后，臧霸被召回京城担任执金吾，这是一个地位非常高的职位，仅次于三公。皇帝对臧霸非常信任，每次有军事行动，都会向他咨询意见。
据《魏略》记载，臧霸还有一个名字叫奴寇。他的战友孙观，字婴子；吴敦，字黯奴；尹礼，字卢儿。建安二十四年的时候，臧霸派了一支别动队驻扎在洛阳。当时曹操去世，臧霸的部队和青州的士兵都认为天下将要大乱，于是都敲着鼓擅自离开了。曹丕即位后，任命曹休为青州和徐州的都督。臧霸对曹休说：“国家还没有完全信任我啊！如果给我一万人的步兵和骑兵，我一定能够在长江以南横行无阻。”曹休把臧霸的话告诉了曹丕，曹丕却怀疑臧霸的军队之前擅自离开，现在却这么自信满满。于是，曹丕亲自东巡，趁着臧霸来朝见的时候，夺了他的兵权。
明帝曹叡即位后，臧霸的封地增加了五百户，加上之前的共三千五百户。臧霸去世后，被追封为威侯。他的儿子臧艾继承了他的爵位。据《魏书》记载，臧艾从小就以才华和理智着称，担任过黄门郎，后来又当过郡守。
臧艾的官职一直升到了青州刺史、少府。他去世后，被追封为恭侯。他的儿子臧权继承了他的爵位。臧霸因为屡立战功，他的三个儿子都被封为列侯，还有一个儿子被赐予关内侯的爵位。其中，臧霸的一个儿子臧舜，字太伯，后来在晋朝担任散骑常侍。在《晋武帝百官名》中提到他“才思敏捷，见识卓越，能够赞同时宜”。不过，这部《百官名》不知道是谁写的，里面对每个人都有评价。
臧霸的战友孙观也当过青州刺史，还被赐予符节。他跟随曹操讨伐孙权，在战斗中受伤去世。他的儿子孙毓继承了他的职位，也当上了青州刺史。据《魏书》记载，孙观，字仲台，是泰山人。他和臧霸一起起兵，讨伐黄巾军，被任命为骑都尉。曹操打败吕布后，让臧霸去招降孙观兄弟，他们都受到了厚待。他们和臧霸一起征战，孙观总是冲锋在前，平定了青州和徐州的群贼，功劳仅次于臧霸，被封为吕都亭侯。他的兄弟孙康也因为战功被封为列侯。他们在南皮和曹操会师，把子弟送到邺城居住，孙观被任命为偏将军，后来又升任青州刺史。他在濡须口讨伐孙权的战斗中，被流箭射中左脚，但他仍然奋勇作战，不顾伤痛。曹操慰劳他说：“将军受伤这么重，但仍然勇猛无比，难道不应该爱惜自己的身体吗？”后来，孙观被转任为振威将军，但因为伤势过重，最终去世了。