公元二百零九年（建安十四年），张辽围剿陈兰时，臧霸与于禁征讨梅成，因于禁中伪降计，梅成得以率其三千余兵与陈兰汇合于灊山。于是臧霸被曹操调到皖，讨伐孙权大将韩当，使孙权不得前救陈兰。韩当派兵阻拦臧霸，双方在逢龙展开战斗，韩当另外派兵在夹石口迎击臧霸，均被臧霸击破，臧霸回军屯驻舒城。孙权遣数万人乘船屯于舒口，分兵往救陈兰，但闻知臧霸军在舒城时，立即遁还。臧霸引军乘夜追赶，将及天明，行百余里，向孙权军前后夹击。孙权军窘急不堪，不得上船，蹈水而逃者甚众。于是孙权军未能援助陈兰，张辽便击溃了陈兰的军队。
公元二百一十三年（建安十八年），臧霸从讨孙权于濡须口，与张辽同为前锋，遇上大雨，前锋大军先至，见江水增涨，敌船稍进，将士皆不安。张辽便欲退走，臧霸阻止张辽道“曹公是那么英明的人，怎么可能会舍弃我们呢？”第二天，曹操果然发出撤军令。张辽以臧霸之言告诉曹操。曹操对臧霸加以赞扬，拜为扬威将军，假节。曹操破孙权江西营，抓获都督公孙阳。
臧霸从讨孙权，先登入阵，再入巢湖，攻破居巢。后孙权徐详告降，曹操还师，便留臧霸与夏侯惇等屯居巢。
曹丕即王位时，臧霸迁镇