唐代笔记小说《朝野佥载》记载了一则故事：
扬州兵起，炎从内应，书与敬业等合谋。唯有“青鹅”，人有告者，朝廷莫之能解。则天曰：“此‘青’字者十二月，‘鹅’字者我自与也。”遂诛炎。
说的是武则天称帝之前，大权独揽，李唐皇帝形同傀儡。英国公徐敬业在扬州起兵反武，宰相裴炎作为内应和徐敬业合谋。他们往来书信中有“青鹅”二字，被人告发后，朝廷的官员都不知道是什么意思。武则天说“青”字拆解开来就是“十二月”，“鹅”字拆解开来就是“我自与”，意思就是说十二月的时候裴炎会配合徐敬业造反。于是就杀掉了裴炎。
此事在《旧唐书》、《新唐书》、《资治通鉴》等正史并无记载，而以上史书为欧阳修、司马光等正统儒家士大夫编撰，根本无需为武则天诲。诸多史书都无此事，就让这则故事透露出一股浓浓的小说家离奇脑洞味道。综合种种事迹来看，裴炎确有谋反之意，因此被杀，但“青鹅”故事应该属于野史杜撰。
裴炎被杀，其实并不意外，裴炎担任宰相以来，一直忠于李唐，在重大事件上处处维护李唐利益，这位“耿直男”自然引起武则天及武家人的大大不爽。
第一件大事是谏阻武氏封王立庙
嗣圣元年（685年），为了给武则天称帝推波助澜，为自己谋求更大的利益，时任吏部尚书的武承嗣建议武则天“追王其祖，立武氏七庙”，意思是姑姑您老人家现在跟个皇帝也差不多了，俺们这些小辈也跟着发达了，咱们老武家的列祖列宗也得跟着沾点光啊！太后一族先人追封王爵，立庙祭祀，这可是赤裸裸地表露了政治野心。裴炎极力反对：“太后母临天下，当示至公，不可私于所亲。独不见吕氏之败乎！”
你拿吕后专权败亡来对比老娘？武则天当然不爽：“吕后以权委生者，故及于败。今吾追尊亡者，何伤乎！”如果是个懂得明哲保身的“聪明人”，一看武则天这个态度，就应当赶紧闭嘴了，但裴炎老哥心性耿直，非要继续劝阻下去：“事当防微杜渐，不可长耳。”但最后这事到底还是没拦住，武氏祖先最后还是被封王立庙。
第二件大事是谏阻武氏诛杀李氏宗室
光宅元年（684年），武承嗣和武三思因韩王李元嘉、鲁王李灵夔等李氏皇族宗室是唐高祖李渊一脉，属尊位重，“屡劝太后因事诛之”——劝武则天找个由头统统杀掉，以断了李氏皇族的希望，为武则天称帝剪除威胁。杀李氏皇族，这事儿太大了，于是武则天就咨询执政大臣们，中书侍郎刘祎之、御史大夫韦思谦等人一听是找我们读书人、文明人商量这种杀人买卖，而且还是杀李氏皇族，都不敢说话，只有裴炎站出来极力反对这事太野蛮，严重反人权反社会，惹得武则天很不高兴。
裴炎的这次劝阻可能起了效果，当年李元嘉和李灵夔等李氏宗室总算暂时保住了性命，但在几年后的垂拱四年（688年），豫州刺史越王李贞、其儿子博州刺史琅邪王李冲爷俩上阵父子兵，共同起兵反对武则天，被平定后，李元嘉、李灵夔等一批李氏皇族宗室到底还是被以与越王李贞爷俩有同谋的罪名被诛杀。
第三件大事是裴炎有兵谏武则天的计划
豫王李旦被扶持上帝位后，国家政权仍然掌握在武则天为首的武氏一族手中，耿直男裴炎总结了前面谏阻失败的经验：嘴皮子文的不行，咱来刀把子武的。于是计划实行兵谏。计划是这样的：太后窝在宫城里被严密保卫，没法动她，但她即将到龙门巡游，出门在外，保卫力量就相对在宫里弱一些，到时候发动部分兵马，趁机一把拿下这老娘们，再把执政权力归还给皇帝，完美！但理想是丰满的，现实是骨感的——《新唐书·裴炎传》记载：“炎谋乘太后出游龙门，以兵执之，还政天子。会久雨，太后不出而止。”
这可真是谋事在人，成事在天了。不过这场胎死腹中的兵谏由于没有实行而在当时没被发觉，不然裴炎一条老命早就给交代了。从这件事上来说，虽然名义上是“谏”，“谏”为规劝尊上之意，看似仍然视武则天为上级领导，但如果兵谏顺利实行，武则天一旦被拿下，但由于多年纂权，手上又有大批李氏皇族的血债，等待她的命运一定不好，至少其他武氏族人一定没好果子吃。所以从这件事上来看，裴炎算是有谋反之意了。
第四件大事是劝武则天还政于睿宗
光宅元年（684年），英国公徐敬业、骆宾王等人起兵造了武则天的反，武则天咨询裴炎，耿直男又抓住机会开始为李唐说话：“皇帝年长，不亲政事，故竖子得以为辞。若太后返政，则不讨自平矣。”御史崔詧听说了这话，于是上书弹劾裴炎：“炎受顾托，大权在己，若无异图，何故请太后归政？”意思是裴炎你这家伙受先帝委托帮助太后和皇帝治理国家，现在身为宰相，大权在握，如果没有不可告人的目的，为什么要让太后把政权交给皇帝？
其实这话说得有毛病，当时武则天尚未称帝，朝廷在名义上仍然是李氏政权唐朝，太后将执政权力交还于李氏皇帝不但不是大逆不道的事，而且还是政治正确的。而且崔詧这话只字不提皇帝，只一口咬定裴炎是有异图，欲加裴炎之罪而求晋身之意不言自明。而武则天听了以后大怒：你这糟老头子坏得很，我拿你当哥们，有啥事经常听你意见，你居然想让我跪着唱征服？这事终于成为压倒裴炎的最后一根稻草，于是耿直哥裴炎就被拿下大狱。
光宅元年（684年），裴炎被杀于洛阳都亭驿。
终武则天一生，反对她的大小人物多得很，其中不乏位高权重者，但大多数都被她如割韭菜一般割掉了脑袋，包括耿直哥裴炎。而狄仁杰、张柬之等人在任官期间虽然也以犯言直谏著名，但他们不但能得到武则天的信任，还能保护李唐宗室，最后成功推动李氏复位，这差距真是不是一般的大。究其原因，裴炎忠于李唐，过于耿直，处处在武则天在意的地方犯言直谏，久而久之便会让武则天渐起杀心，可想而知，如果裴炎能够活到武则天登基称帝的时候，下场也好不了。而狄仁杰、张柬之等人能够正视政治现实，在接受现实的前提下实行自己的政治信念，不在没把握的时候和强权正面硬碰，智慧更为高超，手段更为高明。这就是裴炎和他们的区别所在。