杨芳出生于贵州一户贫寒的农家，从小就立志要建立一番功业。一开始，他想通过科举考试进入官场，但无奈不被命运眷顾，几次考试都名落孙山。嘉庆初年，杨芳迫于无奈参军当了一名书记官，谁知柳暗花明，竟迎来了命运的转折点：带兵将领十分赏识杨芳，认为他将来必有一番作为，很快就把他提拔为把总(清军下级军官)。而杨芳也不负所望，经过几次战事就崭露头角，获得升迁，成为当时清军汉族年轻将领中的佼佼者。
那时的大清王朝早已不复康乾盛世的荣光，官员腐化，民不聊生，社会危机四伏。嘉庆元年(1796年)，南方爆发了声势浩大的白莲教起义，过去战功赫赫的八旗兵此时已经极度腐朽，面对来势汹汹的白莲教众，八旗兵一触即溃，战势每况愈下。无奈之下，清廷只好倚仗汉人组成的绿营兵来对抗白莲教。
接下来的几年里，杨芳率军在川、陕、甘三省纵横驰骋，充分发挥了自己的军事才能。无论是短兵相接还是设伏歼敌，他都未尝败绩。在那个清军将领普遍贪生怕死、腐化堕落的年代，能有杨芳这样的虎将屡传捷报，远在京城的嘉庆十分高兴，亲自赐予杨芳“诚勇巴图鲁”(满语意为勇士)的称号，听说杨芳作战负伤，嘉庆又立刻下诏慰问。杨芳在军中一时间风头无两，大家都对这个出身寒微的贵州人刮目相看。