在《水浒传》中，高衙内仗着自己父亲高俅的权势，在林冲的妻子林娘子去寺庙上香时，光天化日地公开调戏，林冲见到时也只能忍气吞声。之后高衙内更加肆无忌惮，陷害林冲，设计让林冲带刀进入白虎刀，导致其被发配的结果，而林娘子被逼后选择自缢身亡。
当时武则天谋朝篡位，一时间天下抗议之声四起。而武则天的应对方法很残酷，就是选拔酷吏来排除异己。来俊臣本来就是一个市井无赖，精通阴谋诡计，他竟然因此被武则天提拔，授予官职。来俊臣自从成了武则天排除异己的工具后，就趁机利用这种身份，伙同党羽周兴，残杀百姓。凡是他们认为有罪的，就会被各种没有人道的刑具折磨，即使没有罪，经过一番残酷地严刑拷打，也不得不认罪。一时间天下人心惶惶，人人自危。
其中推事院是一座监狱，由来俊臣负责。而凡是被关押其中的人，百不存一，人们就给这个监狱起了个名字叫“例竟门”，顾名思义，如果进入了推事院的大门，这个人就必死无疑。就算是朝廷官员，也有不少因为得罪来俊臣而被陷害，秘密逮捕，死在其中。而也因为有这番经历，来俊臣竟然专门著书立传，写了一部被称为“酷吏秘籍”的《罗织经》。书中所讲的就是来俊臣如何罗织罪名、陷害他人的经验之谈。精通诡计的周兴，看了这本《罗织经》也连连自叹不如;一代宰相狄仁杰读完这本书，浑身冷汗直冒;就算是工于心计的武则天看完，也是感叹说比不过来俊臣。由此可以看出，著书人来俊臣的阴险毒辣。
自从周兴被告谋反而死后，来俊臣更是俨然成为酷吏一派的首脑。当已经排除掉了反对他的人后，无人可杀，来俊臣把眼光看向了其他朝臣。更荒唐的是，来俊臣把人命当成儿戏，制造很多石头靶子，靶子上写了各个官员的名字，再命令下人拿小石子扔靶子。只要哪块靶子被砸中，来俊臣就会拿谁开刀。而冤杀官员后，来俊臣还会捏造事实，自述自己的功劳，向武则天请求赏赐。
除此之外，来俊臣在历史上是出了名的好色之徒，曾经把自己比作历史上风流成性的石勒。来俊臣最喜欢做的就是夺人妻女，在当时，如果家中有上佳姿色的妻妾反而是一种烦恼，因为不知道何时，来俊臣就会强夺。如果不成功，那人就会被来俊臣捏造各种罪名，锒铛入狱，难逃一死，而妻妾最终也会被来俊臣收入房中。据说来俊臣还专门做了一个花名册，上面写满官员的名字，再按照笔画顺序，通过各种手段，夺取他们的妻女。
其中倒霉的段简竟然被来俊臣抢了两次老婆。断简本来娶了王氏为妻，可来俊臣知道王氏的美貌后，用尽心机，假传圣旨，说是武则天皇帝已经把王氏赐给他了，如若不从，就会有苦头吃。明眼人都知道这是假的，段简自然也心知肚明，可是他碍于来俊臣的权势，哑巴吃黄连，有苦说不出，只能把妻子主动送了出去。这也就算了，可之后来俊臣知道段简还有一个漂亮的姬妾时，竟然又上门了。熟话说“夺妻之恨，不共戴天”，可段简是自身难保，只能拱手让人，连连被夺两个妻子，他差点就成了孤家寡人。
当来俊臣被处死的时候，洛阳一时间万人空巷，都跑出来看他被斩首。而且为了一解心头之恨，洛阳的百姓们有的甚至生啖其肉，没有抢到的一些人宁愿花数百金求购，可见来俊臣已经到了天怒人怨的地步，最终落了这么一个下场。