高湛一心玩乐，皇位传给了儿子高纬。高纬小时候有个奶妈，叫陆令萱。她的丈夫因犯谋叛罪被判死刑，陆令萱也就沦为皇宫女仆，负责喂养高纬。陆令萱看准了身为太子的高纬终有一天会黄袍加身。因此，她当奶妈不久，便施展政治投机的手腕，讨好胡太后，结党营私。高纬上台后，封陆令萱为女侍中。陆令萱、和士开、高阿那肱、穆提婆、韩长鸾等佞幸小人把持了朝政，勾引亲党、贿赂公行、狱讼不公、官爵滥施。一时之间，奴婢、太监、娼优等人都被封官晋爵。天下开府一职的官员达到1千多人，仪同官职难以计数。仅领军就增加到20人，由于人员庞杂、职权不明，结果中央下达的诏令、文书，20个领军都是在文书上照葫芦画瓢写个“依”字便扔到一边，没人执行。
皇宫中有500个宫女，高纬把每个宫女都封为郡官，每个宫女都赏赐给一条价值万金的裙子和价值连城的镜台。除在邺都大兴土木工程外，又在晋阳广建12座宫殿，丹青雕刻，巧夺天工，比邺城更为华丽。宫内的珍宝往往是早上爱不释手，晚上便视如敝履，随意扔弃。高纬曾在晋阳的两座山上凿两座大佛，叫工匠们夜以继日，晚上则用油作燃料，一夜之间数万盒油同时燃烧，几十里内光照如昼。高纬的牛马狗鸡的地位和大臣们一样，他的爱马封为赤彪仪同、逍遥郡君、凌霄郡君。斗鸡的爵号有开府斗鸡、郡君斗鸡等。
北齐到高纬时期已是朝纲紊乱、民力凋尽、徭役繁重、国力空殚。高纬根本不把这一切放在心上，他常常谱曲，自称为“无愁天子”，拿起瑟琶，自弹自唱。宫内近千名太监、奴婢一齐伴唱，整个皇宫歌声缭绕，一片太平盛世景象。他每天都和后妃、宫女在一起厮混，只顾吃喝玩乐，十天半个月不上一次朝。在他的心里，从来就没有“国家”和“百姓”。哪个大臣劝他勤于政事，轻则被罢官、重则被杀头。那些阿谀奉承的人，有的四处为他物色美女，有的为他修建富丽堂皇的宫殿，供他游乐。这样的人都得到了他的提拔和重用。他在位不到十年，豪华宫殿建了十几处，邺城里的寺院比他父亲高湛在位时多了将近一倍。有一次大臣们有重要的事情向他上奏，走了很多寺院才找到他。底层已是民不聊生，上层却是一天比一天腐败。整个国家已经到了随时就被吞并的地步。
而高纬做的最致命的事情就是杀了两个人。少了这两个人，北齐再也没有了与北周相抗衡的本钱。这两人就是“落雕都督”斛律光和兰陵王高长恭。