这话传到李林甫那里，他开始对张九龄怀恨在心。当时有一个将领叫牛仙客，目不识丁，但是在理财方面很有办法。唐玄宗想提拔牛仙客，但是张九龄没有同意。李林甫在唐玄宗面前说：“陛下，像牛仙客这样的人，是宰相的不二人选啊，张九龄是个书呆子，不识大体。”后来，唐玄宗又找张九龄商量提拔牛仙客的事，但是张九龄还是没同意，唐玄宗发火了，厉声说：“难道什么事都得由你作主吗!”虽然这件事就此作罢，但是李隆基对张九龄变得越来越不满。
李林甫为了能使自己得到皇上的赏识，让自己的仕途顺利，目光落在了武惠妃身上。武惠妃姿色娇美、楚楚动人，博得了皇帝的喜爱。但是在她之上还有皇帝的结发妻王皇后，所以无法独得宠爱。王皇后在李隆基还是临淄王时，便被封为王妃，对李隆基一往情深，而且颇识大体。在李隆基消灭韦氏集团的过程中，她为夫君出谋划策，倾己所能，帮助李隆基登上了皇位。为此，李隆基对她深深感激，立她为皇后。但是王皇后多年不育，而武惠妃却生了两个儿子，寿王李瑁和盛王李琦，所以武惠妃自然更能博得李隆基的欢心。
李林甫为了博得武惠妃的欢心，暗中揣摩她的心思。他知道当今的太子并非武惠妃所生，但是武惠妃也有儿子。李林甫决定支持立武惠妃所生的寿王李瑁为太子，以博得武惠妃的帮助。李林甫打听到，武惠妃身边有一个侍女瑞儿。于是，李林甫用财物买通瑞儿，让她将书信转给武惠妃。武惠妃将这封信读完，十分高兴，因为她终于有了支持者。武惠妃决心通过自己的努力让李林甫跻身高位，拥有重权，以便帮助自己的儿子得到太子之位。她除了不失时机地吹枕边风外，还将皇帝的喜恶爱憎告知李林甫，让李林甫投皇帝之所好，争取皇帝的赏识。