乔日成1910年出生于山西应县下社镇乔街(今新堡)的一个农村家庭,他的父亲乔正富除务农外,还做着给驴马配种的营生,为人霸道凶狠,乡里乡亲都不敢惹他。乔正富有两个儿子,乔日成是次子。上梁不正下梁歪,两个儿子都像乔正富,强悍刁顽,惯于横行乡里。
照乔日成这个搞法,最适合他的“职业”确实只有土匪了。那次抢劫之后,乔日成又做过好几件大案,只要手头没钱,就抢,滥杀、吸食鸦片,无恶不作,阎锡山政府下通缉令想要抓他,却抓他不着,可见乔日成脑子也挺好使。
很难想象这样一个混世魔王,会走上抗日之路。1937年7月7日,卢沟桥事变爆发,日军大举入侵,侵占了天镇、阳高、大同等地。那时正在浑源县大狱的乔日成,趁乱组织暴动,撬开五六十个犯人的镣铐,抢夺了14支步枪,带着200多名犯人逃回了老家。