宣武军前身为河南节度使，成立于安史之乱第一年——天宝十四载（755年），后又相继改称汴宋、汴滑节度使。
建中二年（781年）十一月，改称宣武军。其辖地几经变迁，治所位汴州，长期领有汴、宋、亳、颍四州——大体在今河南、安徽与山东三省交界地区。
刘洽是宣武军组建后的第三任节度使，在位期间正值四镇之乱、泾原兵变，他铁心忠于唐室，在永平、神策等军配合下，向北大破淄青叛藩李纳，向南与淮西叛藩李希烈对峙数年互有胜负，因战功卓着累封怀德郡王，被德宗赐名刘玄佐。
他出身贫寒，早年在县里做过捕盗吏，因犯法被县令施以鞭责，险些丢掉性命。后来投入永平军，靠着作战勇猛跻身将领。其人轻财重义，严而有谋，平定战乱后在韩滉劝说下入朝参见，是当时深受德宗宠幸的藩镇主帅之一。
他在宣武担任主帅七年，在他的调理下宣武军从一个二流藩镇步入辉煌，兵力一度达到十万。但也正因如此，宣武将士变得骄横跋扈，只听令他一人指挥。
贞元八年（792年）三月，刘玄佐病故。
与其他牛人统带的藩镇一样，他的死立时让宣武军陷于混乱。军府将佐担心发生兵变秘不发丧，以他的名义奏请德宗从速派人接替。德宗准备让陕虢观察使吴凑继任，遣使询问军中意见。
吴凑是德宗的舅爷，在福建、京兆两地干的都不错，颇有一些政声。监军孟介、行军司马卢瑗认为可以，德宗于是安排吴凑走马上任。
吴凑走到汜水时，刘玄佐死讯公开，军中向卢瑗申请仪仗以备发丧。卢瑗拍马心切，想把仪仗留给新节度吴凑上任时用，一口予以回绝。
这一做法激怒了尊重刘玄佐的众多将士，刘玄佐女婿带领亲兵披甲执刃，簇拥着刘玄佐的儿子刘士宁脱去孝服，占领军府，自称宣武留后。
他们抓捕了同意吴凑上任的守城将曹金岸、浚仪令李迈，将二人凌迟处死。卢瑗跑得快，得以逃脱。
刘士宁打开府库，用重金犒赏将士笼络人心，劫持了监军孟介，借以向朝廷施压。
德宗与宰相商议对策，窦参认为如果不答应刘士宁，恐怕他会倒向淄青李纳，对朝廷不利。德宗采纳了窦参意见，诏令刘士宁为宣武节度使。
刘士宁怀疑宋州刺史崔良佐不依附自己，便以视察为名到达宋州，用都知兵马使刘逸准取代了他。
都说将门出虎子，可惜刘士宁并没有继承父亲的优秀基因，根本不是做节帅的这块儿料。他淫乱残暴又不务正业，经常外出打猎数日不归，上任不过一年多点，便已惹来一身骂名。
都知兵马使李万荣素得人心，引起了刘士宁的猜疑，剥夺了他的兵权，打发他代理汴州政务。
贞元九年（793年）十二月初二，刘士宁带着两万人到郊外打猎。李万荣趁机进入军府，召集留下的千余亲兵，欺骗他们说：“朝廷征召李大夫入朝，让我执掌留守事务。你们工作辛苦，每人赏赐三十缗。”
众亲兵平白得了这么多钱，纷纷下拜道谢。李万荣又照此方法，告谕府外士兵，众人全都信以为真，愿意接受他的号令。
随即下令关闭城门分兵把守，派人飞骑通告刘士宁：“朝廷征召大夫入朝，请你立刻启程。如果迟疑逗留，诏令割掉你的首级进献。”
刘士宁眼见大势已去，带着五百亲信逃奔长安。只是树倒猢狲散，当他走到洛阳时，身边仅剩下数名家仆。
德宗听到这一消息，派人询问陆贽意见。陆贽道：“如今刘士宁被驱逐虽是出于众意，但李万荣执掌宣武却并非朝廷委任。此事涉及国家安危，请陛下派大臣前往查明，谨慎加以处办。”
德宗道：“如果动作慢了，恐怕于朝廷不利。我的想法是让一名亲王遥领节度使，暂且由李万荣代理留后，看看情况再说。我现在就从宫中直接下令。”
陆贽认为不妥，上疏劝道：“上阵厮杀不是臣的强项，然而运筹帷幄或许还有些见解。李万荣所上奏疏，言辞颇为张狂，只流露出他想上任的想法，全没有臣子该有的礼节。从这一鄙陋行为即可看出，他不是个遵循正道的人。”
“臣听说他生于滑州，热衷于搞老乡观念、团团伙伙那一套。宣武军中与他亲近的不过三千左右，其他士卒早已心怀怨愤。这一偏执行径，足已证明他实非将才。这种人一旦让他得志势必骄横傲慢，将来恐怕不是背叛就是丧师辱国。”
“像他这样靠着要挟朝廷获得官位，不会对朝廷恭顺。陛下碍于形势被迫授予官位，也不是出自本心。君臣之间势必互相猜疑，与其到了事态严重时再去制止，不如在尚未萌芽时予以拒绝。”
“治国之道，在于弘扬正义。若让将士忠于君王，先使他们学会服从。藩镇节帅专制一方，加罪一人何愁找不到理由。如果杀害主将就可以接替帅位，长此以往谁都会暗存歹念。任凭此风蔓延，非但助长叛乱，也开启了谋逆的祸端。”
“如今他刚刚赶走刘士宁，因为事情发生突然，各州刺史固然不是他的同谋，汴州将士也未必都与他同心。陛下只需从文武群臣中挑选一人，将其任命为宣武节度使，同时慰劳宣武将士，褒奖刘士宁平定乱局的功劳，将其另授官职外调他地。李万荣纵然不服，又能有什么作为！陛下按臣所说去做，如果发生任何过失，臣愿意接受罪责！”
陆贽的长篇大论没有打动德宗，他依旧固执的让通王李谌遥领宣武节度使，任命李万荣为宣武留后。
陆贽分析的非常准确，李万荣虽然夺得了帅位，但无论能力还是威望都不足以服众，上任没多久就发生了兵变。
宣武军有三百亲兵，原为刘玄佐护卫，战斗力很强，且极为嚣张。李万荣讨厌他们，打发他们到长安以西参与防秋。亲兵们满腹怨气，在大将韩惟清、张彦琳的蛊惑下攻向李万荣，被李万荣击败。
亲兵们在汴州城内抢掠一番，溃散逃亡。韩惟清逃奔郑州，张彦琳逃奔洛阳。
李万荣展开报复，疯狂屠杀数千人，全是参与叛乱亲兵的家属。有几个士卒在闹市高喊：“今晚有大军到，城池一定会被攻破。”李万荣收斩了他们，向德宗奏报是刘士宁所为。德宗信以为真，将闲居长安的刘士宁调往郴州。
贞元十二年（796年）六月，李万荣罹患中风，昏迷不醒。
护军中尉霍仙鸣推荐宣武押牙刘沐军政双优，可委以重任。
霍仙鸣、窦文场都是德宗最为宠信的宦官。别看德宗心胸狭窄视眼短浅，猜忌这个怀疑那个，但对身边宦官与佞臣却从来都是言听计从！
六月二十二日，德宗诏令刘沐为行军司马，准备让他在李万荣死后继任。
简要说明一下，德宗担心藩镇闹事，不愿在节度使还活着时予以更换。为了保证权力的顺利交接，他亲自选人担任藩镇行军司马，作为节帅的后备人选。因此但凡能做到行军司马，就相当于是下任节帅。
李万荣的儿子李廼在宣武军担任兵马使，执掌宣武兵权。六月二十五日这天他集结众将，责备将领李湛、仇娄说、张丕工作不尽心，准备将他们打发到外县。恰好朝廷使者第五守进抵达汴州，宣读了刘沐的任职命令。
十多名士卒在底下喊道：“兵马使这么勤劳，朝廷却不予褒奖。刘沐是干什么吃的，怎么能当行军司马！”
一时间群情激愤，大有爆发之势。刘沐怕了，佯装中风倒地，让人抬出队伍。
又有士卒喊道：“仓官刘叔何贪污。”
话音刚落，士卒们一拥而上，将刘叔何乱刀砍死。
愤怒的士卒还想砍杀第五守进，被刘沐劝阻。
都虞侯邓惟恭与李万荣是同乡，平时关系非常亲近，李廼也把他当长辈看。邓惟恭稳住李廼，与监军俱文珍密谋，设计将李廼抓获押送长安问罪。
德宗见刘沐无法服众，便让宰相、东都留守董晋兼任宣武节主度使，把李万荣调整为太子少保，将李廼贬为虔州司马。命令刚下，李万荣病故离世。
邓惟恭赶走了李廼，将兵权握在手中，自认为理应由他取代李万荣继位，没有派人去迎董晋。
董晋接到诏令，仅带十余名家仆前往赴任。抵达郑州，无人迎候。郑州官员劝董晋暂时留下以观后变，有个从汴州回来的官员劝告董晋千万不要进入汴州，以免受害。
董晋丝毫不以为意，继续前行，很快距汴州城不足十里。邓惟恭没料到董晋动作如此迅速，他还没顾得上谋划就已到了，只得率众出迎。
董晋拦住了准备下马施礼的邓惟恭，神态安祥满脸笑容，与之相反，邓惟恭却显得局促不安。进城后，董晋毫不起疑，仍让邓惟恭继续执掌军政事务。
当初刘玄佐将宣武军扩充到十万人，待遇非常优厚。李万荣、邓惟恭为了笼络人心，也经常厚加赏赐，以致这些将士骄横跋扈无法驾驭。为了防范他们作乱，李万荣、邓惟恭均安排亲信驻扎在帅府庭院，董晋到达当天全部予以解散。
朝臣大多认为董晋性格柔和，担心他镇不住宣武将士，德宗也有此顾虑，诏令汝州刺史陆长源为行军司马，辅佐董晋。陆长源刚直苛刻，主张改革旧制。董晋一开始答应的非常痛快，但每每进入实施阶段便劝陆长源放弃。
邓惟恭看到董晋威信渐高，内心愈发不安。暗中纠集了两百多人准备作乱，被董晋发觉全部处死，将邓惟恭押送长安。
董晋身为朝廷宰相，其政治手腕相当高明，他靠着过人情商，以及以稳为先的策略，很快让宣武军的骄兵悍将安分下来！
贞元十五年（799年）二月初三，董晋病故，行军司马陆长源顺利接任。
陆长源是个很有名气的诗人、书法家，他恃才傲物，性格急躁。由他挑选的判官孟叔度作风轻浮，荒淫放纵，时常怠慢辱骂将士，军中对这两人极为反感。
陆长源刚上任时，曾当众扬言：“宣武将士怠慢松懈，我一定要严肃处理！”
有人劝他用财物取悦将士，他说：“我又不是河北藩镇那帮反贼，不用靠钱邀买人心，换取节度使职位！”
按照惯例，主帅病故，军府应发给将士布匹制作丧服。陆长源不懂这些，让孟叔度给钱。孟叔度趁机从中取利，只为每名将士发了两三斤盐。军中怨声载道，陆长源却毫不介意。
二月十一日，汴州城再次兵变，愤怒的士卒杀死了陆长源、孟叔度，并将二人剁碎生食，这得有多大仇恨！
监军俱文珍因宋州刺史刘逸准是宣武宿将，历来很得人心，秘密派人征召。刘逸准率军进入汴州，兵变告以平息。
几天后，德宗升任刘逸准为宣武节度使，赐名刘全谅。刘全谅有些本事，可惜命不长久。
九月初九，上任半年多的刘全谅病故，宣武军再次面临动荡局面。
军中将士感念刘玄佐恩德，共同推荐他的外甥都知兵马使韩弘为留后。
韩弘早年读过书，因科举不中弃文从武，在舅舅刘玄佐提拔照顾下步入仕途。为人精明，御下有方，在军中威信颇高。
经过这么几次折腾，德宗也感到烦了，很快批准了韩弘的任命。
之前，刘全谅在世时与淮西吴少诚约好共击陈许，把陈州划归宣武。淮西派来的数名使者此时还住在汴州驿馆待命，韩弘将他们全部驱逐出来当众斩首，以此表明了忠于朝廷的立场。
宣武军自刘玄佐死后，七年多时间里先后六次更换主帅、五次爆发兵变，士卒愈发骄横无礼，视主帅如无物。
韩弘上任数月，一直在暗中调查，发现郎将刘锷参与了几乎所有兵变，遂下决心要把这个罪魁祸首除掉。
贞元十六年（800年）三月，韩弘陈兵于牙门，征召刘锷及其三百同党，先责斥他们屡次参与作乱，而后将他们在军门通通斩首，鲜血染红了道路。
这份刺激来的过于血腥，震慑住了所有人。自此开始，直至韩弘退位的二十一年时间里，宣武将士再无人敢在城郭内大声喧哗，宣武军镇在他的带领下跃升为一代强藩！