蒋介石为压抑、打击青年军人联合会，1925年11月间，他向周恩来提出要共产党组织交出在黄埔军校共产党员名单的要求。周恩来以此事关系两党的关系，必须请示中共中央批准，婉言拒绝蒋介石的无理要求。12月8日，蒋介石又在潮州行营召集政治部人员和各级党代表会议，以讨论两党团结问题的名义，作出了限制共产党人活动的两条规定:1.共产党员在军校“凡有一切动作均得公开”。2.国民党员如加入共产党，“须向特别党部声明,请得照准。”1926年2月2日,蒋介石召集青年军人联合会和孙文主义学会的职员开联席会议,达成4点协议:1．两方面干部互相加入;2.两会在军校和党军内的活动，领受本校校长及党代表的指导;3.“团长以上高级长官（除党代表外）不得加入两会”；4．两会会员对此有不谅解，得请本校校长及党代表解决之，这样实际上蒋介石就把青年军人联合会置于他的监督之下。对于蒋介石在黄埔军校和革命军中压制共产党和国民党左派的行为,黄埔军校的党组织向黄居仁汇报后，黄居仁及时把这些情况向中共广东区委执行委员会通报，并且和中共广东区委负责人研究对策。

1925年3月孙中山去世，8月廖仲恺被杀后,汪精卫成为国民党党政军最高领导人，压制蒋介石。而蒋介石却利用中山舰事件调兵,同时压制汪精卫和清除共产党，反过来取得最高权力。1926年3月18日晚,时任黄埔军校校长的蒋介石指使亲信欧阳格，以军校驻省办事处的名义,到中山舰舰长(代理海军局局长)李之龙家中传达命令,声称奉校长命令，要海军局速派得力兵舰二艘开赴黄埔。其实,这时蒋介石放出谣言,称“共产党要暴动”“李之龙要造反”和“共产派谋倒蒋、推翻国民政府,建立工农政府”等。同时,蒋介石在广州市区开始大举逮捕共产党人。3月19日深夜，蒋介石秘令逮捕李之龙、解除中山舰武装，派兵包围省港罢工委员会以及苏联顾问和共产党人的住宅以及全市已经公开的共产党各级机关,还扣押了军内国民党左派党代表和政治工作人员40多人，严密监视邓演达。当广州市内一切布置妥当后,蒋介石电令驻扎潮汕的第一军，将全军党代表撤销并驱逐,以周恩来为代表的全体共产党员退出该军。