1924年1月24日，孙中山根据国民党中央的决定，下令筹办中国国民党陆军军官学校。孙中山指派蒋介石为陆军军官学校筹备委员会委员长。1月28日，孙中山指定以广州黄埔岛为军官学校校址，定名为“中国国民党陆军军官学校”。1926年2月，改名为“中央军事政治学校”，因校址在黄埔，又通称“黄埔军校”。
蒋介石深知，在当时的政治斗争中，不掌握军队，就没有实力，一切都无从谈起。蒋介石十分崇拜拿破仑，因为拿破仑以赫赫战功称霸欧洲于一时。蒋介石更崇拜曾国藩，曾国藩也是以治兵有道、屡建战功而成为封疆大吏。
民国以来，蒋介石看到袁世凯由于掌握北洋军事实力，不但威迫清廷，窃取了辛亥革命的胜利果实，而且还能左右民国大局，其后各大小军阀也是凭借个人的军队才能割据一方。同时，蒋介石也看到孙中山所从事的国民革命，以及为打倒军阀、统一中国而发动的北伐屡遭失败，也就是因为孙中山手中没有可靠的军队。