同平章事吉顼，与二张同居奉宸府，顼与武懿宗不睦，恐武氏立，失官致祸，遂说昌宗曰：“公兄弟贵宠，天下侧目，不有大功于朝，天皇千秋高，一旦山陵崩，二公将何以自全？”昌宗闻言，大恐，亟问曰：“君言诚然，敢问自全之计。”顼曰：“天未厌宋，立武则速乱，庐陵王有贤声，公何不劝上储位，以慰天下之望？非但免祸，且可以长保富贵也。”昌宗曰：“所言固当，但易之已在天皇前力保承嗣为太子，我亦许为之进言，今若忽保庐陵王，自相矛盾，可乎？”顼微笑曰：“公何迂哉，成大事者，宁持小节，况立承嗣，不过群小之偏见，何若立庐陵王，而使天下归心之为得也。”昌宗大悟，于是承间屡请以庐陵王复储，后意乃决，盖庐陵王之复储，初非狄仁杰一人力也。
南海进集翠裘，用孔雀毛及蚕丝成其表，而以白狐皮托其里，华丽绝伦，昌宗侍侧，见裘把玩，不忍释手，武后赐之，命披裘相对斗双陆，适仁杰入宫奏事，后赐之坐，命与昌宗博双陆，仁杰亦不拒，后笑询以何物为注彩，仁杰指昌宗所衣裘曰：“即赌此。”后曰：“然，则卿以何物为注？”仁杰指所衣紫絁袍曰：“臣以此袍。”后笑曰：“昌宗之裘系珍品，价逾千金，卿系寻常朝服，非其敌也。”仁杰曰：“臣此袍乃朝见奏对之衣，昌宗之裘，乃嬖幸宠遇之服，其间贵贱，自有不同。”遂相博，后以昌宗为双陆能手，胜券可操也，詎知昌宗为仁杰正气所慑，心赧神沮，连战皆北，然不愿去裘，允作价償银。仁杰怒曰：“天子无戏言，臣奉旨博双陆，以裘为彩，胜则得裘，今欲反悔，天威何在？”言既，竞执昌宗而褫其裘，向后谢恩而去，至光范门，以裘衣家人，命控马过市以辱昌宗，非但昌宗末如之何，即武后亦不能屈也。
易之有家奴裴吉者，年轻貌美，其母阿臧甚嬖之。阿臧因恐易之得幸武氏，斲丧太过，遂命易之以裴吉入奉宸府，并嘱昌宗荐引。昌宗虽承恩宠，阴嫌其老，所以依偎承命者，为保全富贵计耳。盖武后春秋已高，床第间又专以采补为事，口噙指拨，昌宗已觉难堪，兼之后性甚妒，常令昌宗侍左右，出宫则命二内侍随行监察之，由是遂不能与妇女相接。盖后有洁癖，恐与他人媾而污其阴，转辗污口舌也。二张久不得御少女，心有不甘，此二张所以广觅伟男，荐之于上，盖欲使庖代有人，而及早脱身去也。顾历荐若干人，卒鲜当上意，以面自之俊好，阳道之伟岸，媚术之优异，实无人能望易之、昌宗项背也。
昌宗既知裴吉非常人，而足当其任也，遂闻其名于上，而力绳其美，后即令裴吉洁身进御，易之即沐浴傅粉，盛饰裴吉以进，并语之曰：“此去一幸而得当上意，富贵惟所欲，若不合上意，亦不失供奉秩，此去当好为之。入宫时，有宫女导汝入侧室，其最美之一人，名上官婉儿，必褫汝衣而检视之，汝宜持之庄重，检视毕，入宫承幸，一切进退疾徐，悉惟上命，不可恣意妄行，倘触后怒者，且无幸，慎毋多言，天皇若有问，答语须简略，不可琐屑。言止于此，尔其慎之。”裴吉唯唯而行，入宫见后，跪拜称万岁，上官婉儿询明姓名年岁籍贯，录入承幸册，由宫娥引吉入侧室，褫衣检视身体。吉本是急色儿，佳丽当前，欲心顿炽，及上官婉儿至前，褫衣检视时，其势已不觉骤跃而起，庞然如怒蛙之向人矣。
上官婉儿惊其伟岸，亦不觉心动，粉额类飞红，竟如天半忽现朱霞也。细视其身，莹洁无瑕，堪与张氏兄弟相匹，逆知上之必相宠也，即命之衣而入于寝宫。时已斗转参横，夜将午矣，武后登御榻，召吉入幸，讵吉以家奴而承幸于天皇，中心惶恐，不知所措，心惊气馁，不克自振，向之蛙怒向人者，已奄然萎顿如卧蚕矣。及相接，而羶腥之气遍床第，中人欲呕，葢裴吉固有狐臊疾者，武后怒斥之曰：“速去，速去。”裴吉至此，魂离其体，匍匐披衣，踉跄而遁。武后以易之兄弟既进此伧夫也，疑为侮己，立召易之、昌宗兄弟，严行数责，幸太平公主、上官婉儿，为之缓类，始释后疑，仍命侍左右。
易之衔裴吉刺骨，逐出奉宸府，时人畏易之势，无敢留之，裴吉遂与无赖为伍，流而为盗，白昼劫市肆，为洛州常史魏元忠所捕，讯之为易之家奴，草疏入奏，严劾易之。疏为上官婉儿所见，告易之，易之极道谢意，并恳杖毙批复结案，由是二张与元忠，遂不相容。旋元忠入相，武后欲以易之弟昌期为雍州长史，问元忠曰：“谁堪为雍州长史者？”元忠以薛季昶对，武后曰：“张昌期亦能胜任乎？”元忠曰：“昌期年少，不闲吏事，曩在岐州，户口逃亡且尽，不如季昶，能为地方造福也。任官惟贤，岂可徇私以遗民害，愿陛下察之。”武后默然而止。元忠又尝面奏武后曰：“臣居相位，不能尽忠死节，使小人盘踞君侧，臣之罪也。”武后不悦，二张怨之，昌宗乃谮元忠于后曰：“元忠尝言，太后老矣，不若挟太子为长久。”武后最恶人言其老，闻昌宗言，勃然大怒，下元忠于狱，拟向辅臣询元忠罪恶。
昌宗密引凤阁舍人张说为己助，许以厚禄，使证元忠罪，张说从之。昌宗复言于后曰：“欲证元忠事者，垂问张说可也。”后即传旨召说入对，凤阁舍人宋璟，知元忠为二张所构陷，及见说奉召入对，意必为元忠事，遂牵说袖曰：“名义至重，鬼神难欺，不可党邪陷正，若事有不测，璟不佞，愿与子同死，努力为之，流芳遗臭，在此举也。”左史刘知几亦谓说曰：“无汗青史，为子孙累。”张说对曰：“我宁不知此，君等焉用过虑为？”言毕入对，武后问以魏元忠有无言欲扶太子事询，说见二张侍侧，未遽对，昌宗促迫曰：“速以直对，何用踌躇。”语说武后曰：“陛下视之，在陛下前犹逼臣如是，况在外乎？臣实不闻元忠有是言也。”
易之、昌宗遽呼曰：“张说与元忠同党谋反。”武后曰：“有何反状？”易之对曰：“说尝称元忠为伊周，伊尹放太甲，周公摄王位，非欲反而何？”说斥之曰：“易之小人，徒闻伊周之语，安知伊周之道？伊尹、周公，为臣至忠，青史流芳，古今瞻仰，陛下用宰相，不使学伊周，当使学谁耶？”后以说言挺撞，遂下之狱，他日复召问，昌宗使人语之曰：“一言之间，安危立判，公其三思之，纵不为自身计，宁不为子孙稍留余地乎？”说默然不语，及入对，仍执前言，武后怒，流张说于岭南，贬元忠为高要尉，群臣交章奏保，苏安恒上疏曰：“元忠下狱，里巷汹汹，皆以为陛下委信奸宄，斥逐贤良，忠臣烈士，皆拊髀于私室，方今赋役烦重，百姓凋弊，重以谗匿专恣，刑赏失中，嬖臣作恶而不治，贤臣直谏而获罪，窃恐人心不安，别生他变云云。”疏入不报，元忠被贬出都，入朝陛辞曰：“臣老向岭南十死一生，但至他日，陛下当知臣言之不谬。”
又指昌宗、易之曰：“此二小人，终为乱阶。”言既拜辞出。侍卿史王晙面奏武后，力言元忠被陷，后不理，拂袖入宫。宋璟谓晙曰：“魏公幸得保全生命，今子复冒犯天颜，为之申理，得无多事乎？”晙对曰：“魏公以忠公获罪，晙为义所激，纵杀身无所恨也。”二张既陷元忠，声势益灼手，时狄仁杰已死，朝政悉由二张把持，凡供奉宸府者，皆赂以金帛，出任要津。武后尝赐宴群臣，二张首座，位居宋璟之上，易之惮璟忠直，虚位揖之曰：“公乃方今第一人，何得居末座？”璟曰：“愚自知才劣位卑，张卿以为第一，何耶？”天宫侍郎郑呆，笑语璟曰：“中丞何故卿称五郎？”璟曰：“以官言之，正当为卿，足下非张卿家奴，何郎之有？”二人调侃，举座怀惕。当时自武三思以下，皆谨事二张，惟璟独不为礼，二张衔之，屡欲中伤之，而璟先向武后乞休致矣，武后见璟乞休，讶然曰：“朕方倚卿为股耾，何遽舍朕而去？”璟曰：“臣居于位，既不能为国除奸，又不见好于陛下宰臣，一旦如魏元忠之受其诬陷，流徙万里之外，何若急流勇退，以避谗匿耶。”后温语慰留，故二张虽屡言璟短，欲中伤之，后皆笑置不理。