1963年，李宜俊调到解放军军事检察院工作。"文革"中，林彪提出砸烂总政治部"阎王殿"的口号，于1969年把总政机关干部当成"小鬼"赶出了京城。当时，作为检察院检察员的李宜俊，被下放到国防科委的一个单位。他对林彪的这种做法从心里不满，在组织会议上慷慨陈词，而在分配给的工作上却兢兢业业。他常说:"委屈是党内个别人给的，工作是党的事业的一部分。绝不能因为受了委屈，就影响了党的工作。"他工作出色是有口皆碑的。1975年6月，他被调回到总政机关。

1985年机关精简整编时，他已经是总政机关的老处长了，组织决定把他派驻到部队或院校工作。除通知他本人做好调走的准备外，还在会议上做了宣布。按说这段时间里，他完全可以在家休息，但是他没有，他边工作边等待，一天也未间断过。几个月过去了，调出的命令没有下，却宣布了他继续留任的决定。理由是这里离不开这位踏踏实实的老处长。

1988年夏，解放军恢复军衔制。按规定，师职干部满55岁的一律离休。此时的李宜俊刚好56岁。机关里在规定线以上的同志都陆续接到了离休命令，而他只接了个"准备退"的口头通知。"准备退"不等于退啊，不退就得工作!他一如既往地履行着处长的职责。直到机关就剩下他一个超出线的同志了，他依然照常工作。不久，总政治部领导找他谈话:"组织决定，你不退了，提你为副检察长，授大校军衔，你有没有意见?""没有!"他回答得非常干脆。按建国前入伍、任正师职5年以上可授少将衔的规定，他是可以步人将军行列的。但领导从全局考虑，让他吃了这个"亏"。"没有意见。"他再次重申，"像我这样的年龄，能继续留下来工作，已经是组织对我莫大的信任了。不管授不授衔，我都会努力工作的。时间不到两年，他被提升为检察长，不久便配上了金星肩牌。"自入伍那天起，我从未想过要当将军和能当将军"，李将军声音爽朗，"我也从未向组织伸手要过职级待遇，我只想到自己是个党员，就应该老老实实、脚踏实地地工作;自己是个军人，就应该正正派派、憎爱分明地做人;自己是个中国人，就应该忠诚于祖国的社会主义建设事业，有多大力出多大力。"

李宜俊就任检察长时，有两个高级干部被立案审查。在核实此案中发现，这两个人虽犯有错误，但构不成犯罪。于是他就分别同这两个人所在单位的领导及检察部门商量，请他们复核。有一个单位复核后仍维持原来的意见。他再一次召开会议，反复研究，以事实和法规说服他们，直到使持不同意见者心服口服。最后，报请上级批准，撤销了原案，按犯错误处理。

李宜俊深有体会地说:"处理人的事关系重大，必须慎之又慎，来不得丝毫马虎与疏忽。执法人员稍不认真，就会给当事人及其家属带来难以弥补的痛苦。不论是对高级干部，还是对一个普通战士，都应该以对党、对人民、对法律负责的态度，来不得半点随意。一切都要讲事实，讲法规，讲政策。"

"作为军队的执法机关，军事检察院无疑要依法办理各种违法犯罪案件。但是仅仅这样还远远不够，应该把眼界放宽一些，把立足点放在坚持为部队建设服务上。"李宜俊的这一观点在他发表在《解放军报》和《中国检察报》上的两篇文章里做了详尽的阐述。诸如"打防结合，预防为主，开展法制宣传，增强法制意识";"开展咨询活动，为部队建设服务"等。他提倡把军检部门建设成为既是严格执法的钢铁阵地，又是部队思想政治工作的骨干队伍。

遵照军委首长关于抓好基层建设要"一个连队一个连队过"的指示精神，他率领工作组深入部队检查工作。在新疆军区，他对检察工作查长考短，是经验的就推广，有不足的就帮助。他一连工作5天，连乌鲁木齐的百货商场都没有去看。军区的同志要派车送他到伊犁去看看，他婉言谢绝:"如果顺路可以去看看，专门去就没必要了。"

李宜俊常说:"作为领导机关，要为部队多办实事，要少为他们添麻烦。"基于这种思想，他上任伊始，就率工作组到部队搞调查，解决实际问题。他在较短的时间内就为各大军区的检察院争取了一笔经费，配备了专车。一年来，他的足迹深深留在成都、西藏、新疆、沈阳、宁夏、西安等边远部队驻地。在西藏军区，因高山缺氧，军区同志不让他下基层，他硬是坚持，翻越海拔4000米的高山，下连队，进哨所，一边了解情况，一边指导工作。

1990年6月29日，第七届全国人民代表大会常务委员会第十四次会议通过，任命李宜俊为中国人民解放军军事检察院检察长。1990年7月23日，中央军委主席江泽民签署命令，授予李宜俊少将军衔。

1992年11月7日，第七届全国人民代表大会常务委员会第二十八次会议通过，免去李宜俊解放军军事检察院检察长职务。中央军委批准他离职休养，并授予他中国人民解放军胜利功勋荣誉章。