东汉末年，庄园经济是社会的主要生产方式，而掌控庄园、拥有大量田奴的地方豪族，即便比不上以经学传世拥有政治优势的高门世家，却也是皇权不下限体制中不可忽视的地头蛇。因此，臧戒以职位低微的县狱椽，却敢触犯一郡之尊的太守，当太守将他收押之时，更需派百余人武装押送，更显示臧戒不是等闲之辈，在当地具有一定的声望和号召力。小耳濡目染的臧霸自然个性超过常人。为了救出父亲，年仅18岁的他竟然率领自家蓄养的宾客数十人，以寡击众，半道劫人，父子二人一同逃亡到了徐州的东海郡。
两汉之际，社会风气尚武好义，重名而轻利，一个人若是从孝义出发，即使犯下了重罪，往往也能被舆论包庇，甚至得到朝廷的宽恕。沛国谯县人夏侯惇14岁时，有人羞辱他的老师，他便将那人杀死，后来非但没有被朝廷制裁，还获得了尊师重义的美名。九江郡成德县人刘晔13岁时，遵循母亲遗命，斩杀了父亲宠幸的小妾，而后坦然向父亲请罪，得到了父亲的宽恕，还被喜爱点评人物的名士徐劭认定是王佐之才，完全没有被治罪的迹象。此类种种，不胜枚举。臧霸救父之名逐渐传开，加上他的确勇猛过人，注定了不会被埋没。
果不其然，新官上任、急需人才的徐州刺史陶谦启用了臧霸，并任命他为将领，讨伐肆虐州中的黄巾军。臧霸由此从逃犯摇身一变成为了朝廷命官。随后率领军队击败了徐州境内的黄巾军，以此功劳被陶谦拜为骑都尉。
东汉末年，内忧外患不绝，横跨数州的黄巾之乱更是东汉中央禁军疲于奔命，意识到除非放权给地方自行募兵，不然难以有效应付四面开花的乱局。设立军政大权于一体的州牧是一种措施，大量任命没有明确规定统兵数额的骑都尉、别部司马等军职又是另一种措施。作为外来官员的陶谦只身上任，一切从零开始。为了快速扩张实力，最好的办法莫过于任用手底下的地头蛇官员，依靠他们在地方上的能量巩固自己的统治。他自己是丹阳郡人，所以建立了一支以丹阳人为主的丹阳兵。
相对应的，任用在家乡有一定名声的臧霸为代理人，帮助自己将影响力渗透进泰山郡也是不错的选择。有了陶谦的准许与帮助，臧霸利用家族在青、徐、兖三州交接地区的势力，与其他土豪渠帅、孙观、吴敦、尹礼、昌豨等合伙，自己当老大，从家乡泰山郡招募了一支以勇劲著称的军队，时称泰山兵，臧霸与其他渠帅则被人们称为泰山诸将。考虑到臧霸的这支泰山兵并非陶谦给予，而是他自发征募，所以具备很强的私兵属性。
自此之后，臧霸等人一直在陶谦麾下效力，直至公元194年陶谦病死。陶谦去世，别驾从事糜竺，辅助刘备入主徐州，按照和平过渡的道理。臧霸以及泰山兵应该继续服侍刘备，但是刘备进入徐州后，并未有直接史料记载泰山诸将与刘备存在隶属关系。而且公元196年前后，袁术与刘备在徐州南部的盱眙、淮阴等地作战，下邳空虚，被吕布偷袭，活跃在琅琊、东海等郡的泰山诸将那时若归附了刘备，定会牵制吕布，使其不敢贸然进攻。可事实却是泰山诸将始终无动于衷，甚至在刘备为吕布击败后，投靠吕布，帮着吕布对抗曹操。种种迹象显示，泰山诸将与刘备并非寻常的臣主关系，虽然有交情，本质却更偏向于合作，这恐怕也是泰山诸将在陶谦死后进一步寻求自主的体现。
消灭吕布和占领徐州，是曹操统一北方战争的关键一步，然而，当战争胜利之后，恩怨分明的曹操，不但对曾经依附吕布的臧霸等泰山诸将不加剿灭，甚至将辛辛苦苦夺取的徐州再加上青州沿海之地拱手委托给了泰山降将，这又是为什么？为了回答这个问题，需要先了解青、徐地区特殊的历史和地理情况。泰山郡属于兖州，如果展开历史地图，兖州地区大体上相当于现在中国山东省西南部和河南省东部，著名的泰山就在境内，郡也因此得名。青州主要在今山东省以及河北省的一小部，一边仅靠渤海，一边东临黄海。至于徐州，在京山东省东南部和江苏省长江以北之地，也濒临黄海。总的来说，兖、青、徐三州的大部分都在今山东省境内，形成为一个背山面海的自然地区。所谓郡接山海，泰山险阻。即使当时人们对泰山郡或这个自然地区的描述。与白波谷的白波军、太行山的黑山军的自发兴起的地方性民间军事集团类似，泰山兵的活跃地区同样拥有得天独厚的地理优势。
泰山郡在兖州，琅琊郡在徐州，属于不同行政区划，但两郡紧邻，属于同一自然地区，军队可以聚山险自守，又可以俯海入岛，更可以纵横驰骋于中原，可谓进可攻、退可守的险要之地。在东汉末年这个不平静的时代，由于地区的特殊自然环境，加上东汉末年的战乱，早在臧霸等人起兵之前，就出现过被称为泰山贼或琅琊贼的大规模动乱。因此可知，东汉末年以来，兖、青、徐三州交接之地一向动荡不安，各种叛乱此起彼伏。曹操新晋平定兖州与徐州，元气没有完全恢复，外部还有诸多敌人。与其花费太多的精力投入在对泰山郡等地的维稳上，自然不如将这些地方暂时交给控制得住局面的地头蛇。倘若臧霸等泰山诸将生出二心，曹操即便最终能够将他们全部灭亡，但付出的代价必然不轻，势必极大拖累他争霸天下的进程。
泰山兵的战斗力也为曹操所忌惮，这点从曹操任命泰山太守吕虔的说法可见端倪。“诸山中亡匿者”即所谓山民，从其中“简其强者补战士”则是泰山精兵的来源。东汉末年泰山郡籍贯的王匡、鲍信等都招募过大量泰山兵。王匡后来与陈留太守张邈联合，企图夺取曹操的兖州，失败被杀，他的泰山兵当然为曹操收编。鲍信是曹操的重要支持者，当黄巾军大举进入兖州之际，他为援救曹操被杀。鲍信所掌握的这支泰山兵也归入曹操的战斗行列。对泰山兵的战斗力，曹操应该是深切了解的，这也成为对待臧霸等泰山诸将策略上异乎寻常的原因之一。另外，臧霸拉起队伍不久，即从琅琊相萧建手里夺取了琅琊国，从此割据。这说明了臧霸之所以被曹操慷慨任命为琅琊相，仅是将非法夺取变为合法占有，从曹操那里取得正式承认而已。臧霸如此其他泰山诸将也应该如此，曹操只是为了阶段性的稳定顺水推舟而已。从这点上看，便可以理解曹操拿下徐州后，在琅琊、东海、北海三郡的基础上，分出城阳、利城、昌滤三郡的做法，出发点绝不是表面上，对泰山诸将厚加结纳。只因原本三郡中许多地区就被泰山诸将占据，不好管理，所以才分郡分治。更重要的是，当时的曹操正处于官渡决战前期，曹操承认臧霸等人的既得利益，就可以利用他们的军事力量抵制袁绍在青州的进逼，以稳固后方，在决战中不置处于两面作战的困境。
公元199年，走投无路的袁术准备投奔青州袁谭，路过下邳，如果要通行当走东海郡或琅琊郡入青州，臧霸与袁术有旧交，害怕二者再度联合，徐州就会腹背受敌。因此，曹操急忙派刘备等人去阻击。袁术被击退后旋即病死。同年3月，公孙瓒自焚于易京至此。此臧霸可依赖的关系全部断绝，自身又处于曹操的封锁包围中，臧霸只能追随曹操。随后就有了官渡之战正式开启，曹操自率大军挺进黎阳，与袁绍主力对峙，而臧霸也乖乖带兵攻入袁绍治下的青州，策应曹操的军事行动。
公元205年，曹操斩袁谭于南皮，袁尚，袁熙逃往北方，大局已定。就在此时，昌豨反叛。臧霸、孙观等人又处在曹操的外围封锁中，众人惶恐，急忙向曹操表忠心，纷纷将父母子侄送往曹操的大本营邺城做人质。为了划清界限，臧霸亲自出兵参与讨伐昌豨，最终昌豨兵败身死，臧霸升任徐州刺史，孙观也升任青州刺史。至此泰山诸将丧失了半独立性，彻底的归附了曹操。当然，臧霸在青、徐一带依然保持着强大的军事实力，这是曹操不能容忍的。他采取的政策是将臧霸等泰山诸将的军队调离他们的老巢，投入到南方战场，不断参与对江东的战事中。直到曹操去世，曹丕上台，臧霸、孙观等泰山兵领导人物依然奋战在最前线。经过十余年的消化，曹氏的势力已经完全渗透进了青、徐等地，臧霸赖以为业的基本不复存在，而对他忠心耿耿的泰山兵也不可避免因为各种损伤而逐渐凋零。到了这个时候，可以说臧霸等泰山诸将与普通将领并没有什么区别了，甚至因为前科还被排除在核心权力之外，换言之，他们失去了最后的利用价值。命运再也无法为自己掌控。
公元219年，臧霸在前线对曹丕的亲信曹休抱怨国家不重用自己，简单的抱怨很快被曹丕借题发挥，完全剥夺了臧霸的兵权。自此，臧霸默默无闻，一直到生命的终了。而泰山诸将也成为历史沉寂，永远的消失在了历史的长河中。