1914年7月,孙中山在东京宣告正式成立中华革命党,蒋介石被派往上海、哈尔滨协助陈其美从事反袁革命活动。1916年陈其美遇刺身亡后,蒋介石被孙中山派往山东潍县出任中华革命军东北军参谋长。袁世凯病死后,中华革命军解散,蒋介石来到上海定居,与青帮头目黄金荣和杜月笙等人结交。
1917年孙中山建立中华民国军政府,1918年3月,蒋介石任粤军总司令部作战科主任,但他受到粤军将领排挤,经常离职在上海常住,与张静江、陈果夫、戴季陶等人合伙做交易所投机生意。
1922年6月粤军总司令陈炯明叛变,孙中山避难于永丰舰,蒋去广州登舰侍护40余日,取得孙的信任和器重。蒋做《孙大总统蒙难记》一书,同年10月被孙中山派任东路讨贼军第二军参谋长,1923年2月被任命为大元帅府大本营参谋长。8月奉派率领“孙逸仙博士代表团”赴苏考察学习军事、政治和党务。