1927年,蒋介石背叛革命后密令“清党”。严重好友邓演达秘密酝酿反蒋,致电严重,询问对国民革命的态度。
严重复电:“革命尚未成功,国共两党应团结一致,完成国民革命大业。”
8月,共产党发动了“南昌起义”,蒋介石命令严重率领部队进军南昌,严重迟迟不前,引起了蒋介石的猜忌。
严重于是急流勇退,隐居庐山太乙村。当时有黄埔学生当面问严重:“老师为何挂冠而去?”严重答:“宁汉分裂,令人痛心疾首。南京大开杀戒,伤我民族元气;武汉大张挞伐,又何尝不是激波扬浪?我怎能和他们同流合污?"
严重在太乙村的日子过得十分清苦。有一段时间,陈诚将严重任军政厅长时期的薪水汇给他。
严重回信说,我没有做工作,不能受俸禄,将款寄回。
蒋介石数度派人送钱来,皆被回绝。严重自己种菜,自己砍柴,用竹管导山泉入厨房,自己做饭,坚持自食其力。
有一次,严重的学生宋瑞珂上山拜见老师,中饭是邻居送来的粽子,每人吃几个,算是一餐。后来宋瑞珂再次拜谒时,是严重煎面饼,宋瑞珂烧火,既无菜又无汤,以茶咽饼。