事实上，维护统一的一个重要内容就是打击贵族力量。大隋王朝的父子两代皇帝都为此殚精竭虑。因为担心自己死后天下重新陷于分裂，杨坚晚年进行了几次政治大清洗，对贵族势力进行了残酷的打击。开国功臣被驱逐或杀戮净尽，领导层几次大面积更换。由于杨坚猜忌过甚，手法粗糙，让许多人感觉刻薄寡恩。上层贵族由此表面噤若寒蝉，实际上却涌动着不满的暗流。杨广明白父亲的苦心。不过，在他看来，一个皇帝完全可以当得不这么辛苦、阴沉、劳累。一个雄才大略的君主完全可以更仁慈些、明亮些、优雅些。即位后，杨广同样在削弱贵族势力方面花了大量心血。与父亲不同的是，他认为，最关键的措施应该是打破贵族对权力的垄断。
承南北朝时期门阀政治的余韵，隋朝初年的贵族与平民，仍然是两个世界。贵族子弟一生下来，就注定要平步青云。那些世家大族世代把持着绝大部分政治资源，出身贫寒的英俊之士绝无进身之路。“世胄蹑高位，英俊沈下僚”的情景比比皆是。在即位之初的大业元年，杨广推出了他诸多政治发明中的最有名的一个：科举制。科举制打破了门第、地域、年龄界限，具有相当大的开放性和一定的竞争性，不能不说是一个非常现代、非常理性的产物。这一制度启动了门阀贵族势力消失的大门。大业五年，他又“制魏周官不得为荫”，使那些无功受禄的关陇贵族的子孙不得再门荫得官爵。相比父亲，他的手段当然更隐蔽，也更有效。然而，打击贵族还是造成了严重的后遗症。直接的后果是上层贵族分成了两派。那些在新天子时代得到新天子重用的大臣们是坚定的保皇派，但是隋文帝时代的勋旧老臣及其子孙大多数已经成了杨广的坚定反对者。因为不但他们旧日的经济特权、政治特权被剥夺殆尽，并且子孙后代也失去了把家族的基业传下去的可能。在社会上层暗暗酝酿着一股反对隋炀帝的势力，并且随着征高丽的失败，如同种子找到了裂缝，一下子钻出了地面。这就是杨玄感造反的真正动因。
最怕的事还是来了。杨广对贵族的造反早就有心理准备，只是没有想到会在这个节骨眼上爆发。他的反应十分迅速。他一边火速撤军，一边不断发出种种指示，调动各地兵马对杨玄感进行围剿。
在大业九年，杨广的政治威信虽然已经因为征高丽失败有了重大损失，然而和大业十几年的情况还是不可同日而语。隋帝国的各路重臣得知杨玄感造反后，不待杨广命令，即纷纷起兵讨逆。虽然杨玄感吸引了近十万各路农民军前来投奔，但是这些农民军的战斗力实在太差，不足依靠。所以杨玄感起兵不过一个月，就被消灭，自杀身亡。
二十六
回到涿郡的杨广看到驿报，心中的石头算暂时落了地。平叛如此顺利，使他甚至开始后悔自己班师太速了。如果早知道如此，他完全可以在辽东再坚持十天半月，那样高丽此时也许已经被荡平，千古伟业已经成功了！
杨玄感的起兵虽然在军事上威胁不大，在政治上却意味着严重的后果。杨玄感公开宣称杨广是昏君，在起义誓师时宣称：“主上无道，不以百姓为念，天下骚扰，死辽东者以万计，今与君等起兵以救兆民之弊，何如？”（《资治通鉴》卷一百八十二）杨玄感罗列了他好大喜功、滥用民力的种种失政之处，宣布要“废昏立明”，这使他的统治威信又一次巨大下滑。而几乎耗尽了举国之力的高丽战争再一次失利，令随军的各国藩王又一次窃笑着而去，让他上一次丢了一半的面子这一次几乎彻底丢光。更主要的，这是政治高层当着全国臣民和四境边夷的面的公开分裂。帝国的政治伤口袒露在世界面前，必将给中国带来巨大危险不习惯失败的杨广错误地理解了“愈挫愈奋”的意义。他内心的脆弱以坚强的形式表现出来。连续两次挫折，使杨广忘掉了其他一切，就像一个快输光了的赌徒，一门心思都集中在如何翻本上。赌徒们的视野都是比较狭窄的，他们只看得到赌桌大小的范围，看不到金盆洗手后生活的其他可能性。虽然农民起义的烈火已经烧得大隋天下体无完肤，各地军报在大殿的桌子上越堆越高，杨广还是变本加厉地准备起第三次东征。如果他能仔细思考一下杨玄感对他的指责，那么他的命运还有挽回的希望，因为杨玄感对帝国政治的病灶判断得很准，然而杨广却根本不愿意回想这个逆臣的那些狂悖之词，他不相信别人会比他英明。他坚持自己的判断，认为是征高丽失败，才带来这一切后果，因此只有征服了高丽，他就能挽回声望、挽**心、挽回自己的前途和命运。事实证明，第三次东征丝毫无益于杨广的威信。
连续的远征使隋军失去了锐气。杨广也感受到了身后这支庞大队伍的疲沓。连他自己都感觉到这次东征的勉强，就像一个老男人面对同一个夜晚里的第三次做爱一样。更令他难堪的是，这第三次还是他为了证明自己主动提出来的。一边前进，他一边担心粮草供应问题，他知道，国家已经被他搜刮得差不多一干二净了。
幸好高丽人也感到害怕了。毕竟两次大战已经把这个小国的国力消耗得近乎空竭。上一次那千钧一发的险境更让他们后怕不已。隋军一到，他们就派人前去和谈，希望能以一次认错换来和平如果是在前两次，杨广绝对不会同意，他一定要跃马大同江，踏平三韩地，才能心满意足。然而，此时，闻听高丽使者来求和，他心中却不禁升起一丝暗喜。连他自己都为这丝暗喜感到羞耻。
谈判的结果是，高丽认错，隋军班师。
整个大隋帝国终于可以开始准备那个期待已久的庆功仪式，然而所有的大臣都忙得面无表情，因为都知道这个胜利是怎么回事。金光门外盛大的凯旋式是大隋帝国开国以来举行得最没精打采的仪式。
第三次东征的结果只有两个字：“难堪。”原来强大富庶的帝国被折腾得家底一空，元气大伤，伤痕处处。老百姓被折腾得死去活来，家徒四壁，一无所获。
然而，这似乎只是一个开头，“难堪”挤开了门缝，就一个接一个地涌了进来，让杨广目不暇接：
在从涿郡（北京）回东都的路上，杨广的御驾遇到了农民起义军的抢劫，精神涣散的御林军被农民军冲散，天子御马在光天化日之下被这群乌合之众抢去四十二匹。
就在凯旋式举行了一个月之后，隋炀帝召高丽入朝，不料高丽根本不予答复，三征高丽彻底成了笑话。
在杨玄感叛乱后，全国各地豪强及农民起义的烈火如同被浇上了一桶汽油，忽的一下子高涨了起来，几乎达到了无郡无兵的程度，义军们纷纷抛出檄文，对他进行无所不用其极的攻击，这些檄文不胫而走，在帝国内广泛传播。
天下大乱之际，强悍的草原民族也开始试探着挑战隋帝国的权威。因为边境不靖，杨广在大业十一年八月再度出巡塞北，不料在山西雁门，遭遇突厥南下。猝不及防的十几万宫廷后妃及百官侍从被围在雁门城里，差一点成了突厥的俘虏。
自从征高丽回来后，杨广就像一个救火队员，四处扑火。一连串的打击让杨广有一些回不过神来。他不明白这一切都是如何发生的：正在兴致勃勃建筑着自己的大业金字塔的他，为什么会在砌最后一块砖时从金字塔顶失脚滑落下来，落入这样难堪的境地？为什么一直一帆风顺、万人爱戴的他现在变成了天下万民嘲笑的对象？他艰苦卓绝的奋斗换来的为什么是这样一个结果？
被围在雁门、又一次在全国人面前丢光脸面的这一刻，杨广第一次惊觉：自己现在面临的问题不是在皇帝排行榜上排第一还是第二的问题，而是帝国能不能在自己手里保住的问题！他突然发现，那个从他出生起就一直伴随在他身边的幸运不知道什么时候已经永远离他而去。那曲一直演奏得辉煌盛大的交响乐在一度转成低沉压抑之后，现在居然不断滑音和跑调，使一场演奏会变成了滑稽戏，正襟危坐的观众们忍俊不禁。他原以为自己是上帝的宠儿，没想到上天对他如同对万物一样不过视为刍狗。他原以为他的幸运是上天无偿的赐予，不想原来却是利息沉重的债务，要他一一用不幸加倍偿还。他原来一直以为上天赐给他的是古往今来最幸福的人生，哪知中途剧情骤转，看来他的人生很可能变成一场彻底的悲剧。