廷召他到都堂审察，当时宰相不喜欢他，任命他为监当官，改知平江府常熟县。
徽宗宠臣朱勔的父亲朱冲倚势横暴，李光囚绑其家僮治罪。朱冲大怒，讽劝部使者改调他到吴江，李光不为屈服。改任京东西学事司管勾文字。
刘安世住在南京(应天府)，李光执学生礼前往拜见。刘安世告诉他在司马光那里听到的一句话“学问应当从无妄中入门。”李光欣然领会，回去后发奋学习，不久授任太常博士，升为司封。
不过他一上任首先指责士大夫阿谀奸佞成风，甚至援引荀卿“有听从，无谏诤”的话，来堵塞言路；又认为怨嗟之气，聚结为妖气。使得王黼非常厌恶他，令吏部任他为桂州阳朔知县。
这个家伙进士出身还曾经做过吏部的司封，掌管官员的俸禄发放，按说资历是足够了，而且这个人将朝廷的相公们都得罪遍了，自己去提携他一下，倒是能够为自己所用。
想到这里高公泰收起了书信，前去找曹评和欧阳询商量。
“啪！”欧阳询猛地一拍手道“我怎么将他忘了呢？这个李光为人清廉，而且很有贤名，倒是一个不可多得的人才。现在王黼已经倒台了，他也就别在那个偏远之地虚度时光了。”
赵佶