蒋介石等人制造中山舰事件,目的是夺取在粤海军实力(蒋介石完全清除了国民党第一军的共产党员,完全掌握了第一军的军权,使其成为蒋介石的嫡系部队)），清除军队中的共产党力量。此举背叛了孙中山制定的“联俄、联共、扶助工农”三大政策,是国民党右派势力分裂国共合作、企图夺权的信号。

中山舰事件后,很多中共党员都义愤填膺，表示要对蒋介石大加惩罚,予以还击,在广州的中国共产党人主张采取“强硬”立场和蒋介石进行坚决斗争。3月20日早晨，中共广东区委负责人陈延年以及张太雷、毛泽东、周恩来等人一起到苏联顾问住址,提议对蒋介石采取强硬态度和立场，以“其人之道还治其人之身”,不要示弱，否则后果将不堪设想。毛泽东态度激烈并富有见地地说:“蒋介石制造中山舰事情,向我们搞突然袭击，一是威胁，二是试探,如我们示弱,他就耍得步戟;我们强硬，他就得缩回去。”并提出,动员所有广东革命力量和可利用军队，联合起来,共同通电讨蒋、削其兵权。同日,中共广东区委执行委员会委员陈延年、张太雷、恽代英、刘尔崧、黄居仁等人还立即召集共产党员积极分子会议,在会上说明事件的真相,揭露蒋介石反对共产党,破坏国共合作的阴谋,号召大家提高警惕，加强工农武装队伍的建设,准备迎接新的斗争。黄居仁在会上讲了黄埔军校共产党员和共青团员汇报的有关情况,主张安维蒋介石以坚决回击。

3月21日和30日，中共广东区委就中山舰事件两次在广州《民国日报》上发表公开信，严厉驳斥帝国主义与反革命派对共产党的种种造谣诬蔑,揭露他们反共、破坏联合战线的阴谋,号召革命领袖和革命群众团结起来共同奋斗。为反对将介石制造的中山舰事件，黄居仁主持召开共青团州地安双贝公议，痛斥蒋介石的反共行径是豺狼行为,要求每个共青团员密切注意国民党右派的活动，如果发现右派反对国民革命、反对共产党的情况,及时向上级汇报。