1927年，蒋介石背叛革命后密令“清党”。严重好友邓演达秘密酝酿反蒋，致电严重，询问对国民革命的态度。
严重复电：“革命尚未成功，国共两党应团结一致，完成国民革命大业。”
8月，共产党发动了“南昌起义”,蒋介石命令严重率领部队进军南昌，严重迟迟不前，引起了蒋介石的猜忌。
严重于是急流勇退，隐居庐山太乙村。当时有黄埔学生当面问严重：“老师为何挂冠而去?”严重答：“宁汉分裂，令人痛心疾首。南京大开杀戒，伤我民族元气；武汉大张挞伐，又何尝不是激波扬浪?我怎能和他们同流合污?"
严重在太乙村的日子过得十分清苦。有一段时间，陈诚将严重任军政厅长时期的薪水汇给他。
严重回信说，我没有做工作，不能受俸禄，将款寄回。
蒋介石数度派人送钱来，皆被回绝。严重自己种菜，自己砍柴，用竹管导山泉入厨房，自己做饭，坚持自食其力。
有一次，严重的学生宋瑞珂上山拜见老师，中饭是邻居送来的粽子，每人吃几个，算是一餐。后来宋瑞珂再次拜谒时，是严重煎面饼，宋瑞珂烧火，既无菜又无汤，以茶咽饼。