1908年，受西门子中国公司之聘，开始在中国沈阳、北京、天津、上海、南京等地经商。
1931年，拉贝任德国纳粹党南京分部副部长，开始书写《拉贝日记》。
1937年11月，侵华日军开始袭击南京时，他在南京的住所(同时也是办公地)南京市广州路小粉桥1号，作为南京安全区收容难民的25个国际安全区之一，保护了600多位难民。作为南京国际安全区主席的拉贝和其他国际友人一同，协同南京安全区国际委员会在其负责的不足4平方公里安全区内，拯救了超过25万中国人的生命。
1937年日军向南京进攻前夕，他从北戴河赶回南京，被一些外国人推为南京安全区主席。安全区内设有25个难民收容所，聚集了近30万难民。其中“西门子”难民收容所为拉贝租住的院子。“西门子”难民收容所收留了600多个附近的居民，12月13日，日军攻战南京，进行了令人发指的血腥屠杀。金陵古城陷入黑色的恐怖大海。拉贝利用自己的纳粹身份，在自己的住宅收容了600多名中国难民，在他负责的不足4平方公里的安全区内，他和他领导的十多位外国人，与日军斗智斗勇，与日本领事馆反复交涉、抗议，阻止日军的恣意侵犯和屠杀。不仅拯救了25万中国人的生命，而且捍卫了人类的真理和尊严。他在他租住的小粉桥1号院子内，写下了著名的《拉贝日记》，记录了日军暴行的500多个惨案;他带领他的委员们寻求国际援助，募集资金，购买粮食和药品，特别是历尽艰辛，从上海搞来了能预防脚气漫延的蚕豆。难民们对他顶礼膜拜，称他为活菩萨。为表达对拉贝的敬意，麦卡勒姆牧师专门谱写了一首《南京难民合唱曲》，歌词幽默中隐匿着辛酸：我们要蚕豆做早饭，我们要蚕豆做午饭……开始，难民们都不知道他是拉贝，都称他爱得培先生，他尽自己的所有能力保护了25万难民，供他们吃喝住。他对妇女儿童非常关爱，对敌人却相反。 一次，难民区围墙翻进一个身配刺刀的日本兵，难民们大惊，急忙呼喊拉贝，拉贝急忙赶来，对日本兵大加斥责，日本兵连连认错，准备从大门出去，拉贝命令他重新翻围墙出去。难民们得到他的关怀，还经常得到食物 ;孩子们常常得到礼品。
1938年的新年，难民收容所的难民们在约翰·拉贝宅邸的院子里排队向拉贝三鞠躬，献给他一块写着“您是几十万人的活菩萨”的大红绸布。同年2月拉贝离开南京，南京安全区国际委员会对拉贝给予了高度评价，中国国民政府授予拉贝三色彩玉勋章。
1945年第二次世界大战结束后，拉贝因曾是纳粹党员而先后被苏联和英国逮捕。
1946年六月最后法庭判定，虽然他曾经加入过纳粹，但鉴于他在中国的人道主义工作，被判无罪释放。他终于洗脱了纳粹罪名。
可这迟来的胜利带来的是他的一贫如洗。拉贝全家在战后德国极端困难的社会里艰难度日，饥寒交迫。为了生存，拉贝不得不卖掉自己真爱的中国艺术品。生活的极端艰也严重损害了他的健康。在日记中他说：在南京，对成千上万的中国人来说我是活菩萨，而在德国我却成了一个”贱民“，一个被社会抛弃的人。
1948年，拉贝艰难的处境传到了南京。
南京市政府向市民宣布，拉贝先生生活困苦，需要帮助。几天之内，南京市民为拉贝捐赠了2000美元——这在当时可是一笔巨款。同年3月，南京市长携款抵达瑞士，买了大量的食品和营养品寄给拉贝。
以后每个月，南京市民都会为拉贝寄去一包食物，一直到解放军占领南京。国民政府甚至表示，如果拉贝先生愿意到中国居住，中国会为拉贝先生提供无偿住房和终身的养老金。
拉贝一家因为南京市民的馈赠，生活得以好转。拉贝给南京市民写了数封感谢信。这些信件至今保存在档案馆中。
1950年，拉贝死于中风。在去世前，拉贝系统整理了关于南京暴行的多达2000页的珍贵的资料。毫无疑问，他认识到了这些资料的价值。他想让它们留存下来，公之于世。
最后向拉贝先生致敬。