初,仁轨为给事中,按毕正义事,李义府怨之,出为青州刺史。会讨百济,仁轨当浮海运粮,时未可行,义府督之,遭风失船,丁夫溺死甚众,命监察御史袁异式往鞫之。义府谓异式曰:「君能办事,勿忧无官。」 异式至,谓仁轨曰:「君与朝廷何人为仇,宜早自为计。」 仁轨曰:「仁轨当官不职,国有常刑,公以法毙之,无所逃命。若使遽自引决以快仇人,窃所未甘!」 乃具狱以闻。异式将行,仍自掣其锁。狱上,义府言于上曰:「不斩仁轨,无以谢百姓。」 舍人源直心曰:「海风暴起,非人力所及。」 上乃命除名,以白衣从军自效。义府又讽刘仁愿使害之,仁愿不忍杀。及为大司宪,异式惧,不自安,仁轨沥觞告之曰:「仁轨若念畴昔之事,有如此觞!」 仁轨既知政事,异式寻迁詹事丞;时论纷然,仁轨闻之,遽荐为司元大夫。