公孙胜是蓟州人，家中有一老母，自幼聪明好学，虽拜在道家门下，但拥有济世救人的胸怀。北宋末年，权相蔡京当道，他的女婿为给他祝寿搜刮财宝十万贯，是为“生辰纲”，公孙胜和吴用等人有意劫取，趁杨志押运生辰纲路过黄泥冈之际，用迷药将押运的人迷倒，将财物劫走，这就是水浒传公孙胜“智取生辰纲”的故事。
后来，公孙胜和吴用等人一起加入梁山，吴用作为军师，公孙胜是副军师。公孙胜身怀绝技，多次运用道术为梁山军击退敌人，可谓屡建奇功。梁山军进攻砀山，史进攻克不下，公孙胜用八阵图破了樊瑞的妖术，砀山因此破。后公孙胜随宋江接受招安，奉命伐辽，随后再伐田虎。田虎的手下用妖术阻挡梁山军进攻，多亏公孙胜道法高深，梁山军这才得以灭了田虎。
对于后世读者来说，公孙胜身上最不能忽视的，便是他足智多谋的才华。具体分析而来，便是他智取生辰纲、勇摆八卦阵、识五行通阴阳，以梁山军师的身份出谋划策，屡建奇功，其能力不输于诸葛孔明。功成名就后明喻结局的全身而退，让他获得了与其他梁山好汉不同的结局。潜心修道、逍遥自在、无忧无虑。以最后的善终结束了传奇的一生。
话说蔡京当权，四处搜刮民财，他的女婿为讨欢心便搜罗了十万贯金银财宝给他贺寿，这就是著名的“生辰纲”。想那生辰纲并非“义财”，江湖上有点血性的好汉都对此恨之入骨。公孙胜虽不是江湖中人，但也胸怀苍生百姓，因此也有意劫取。他听说晁盖的大名，便请他一同行事。正好晁盖和吴用等人也正在谋划此时，故两人一拍即合。晁盖将吴用和阮氏三兄弟以及刘唐请来，七人志同道合，结义为兄弟，在黄泥冈设计将押运生辰纲的杨志迷倒，就这样劫取了生辰纲。劫取生辰纲使朝廷深受震动，是公孙胜的主要事件之一。
公孙胜法术高明，成为梁山好汉以后，几次三番久众兄弟于危难之中。宋江的大军进攻高唐，但被对方的妖术所阻，城池久攻不下，还损失了很多梁山好汉。公孙胜用法术操作刀剑在天空中打斗，又在妖人高廉准备腾云驾雾逃跑之际，将他打了下来，终于使妖人折服，高唐也因此被宋江收入囊中。