自从黄埔军校建立后,其学生90%以上是青年人，黄居仁作为中共广东区委青年运动委员会书记、共青团广州地委书记或组织主任,非常重视在黄埔军校学生中秘密发展共产党员和共青团员。按照区委的安排,黄居仁带领几名共产党员秘密到黄埔军校,首先考察学员的政治态度,通过秘密方式和在入学前就已经加入共产党和共青团组织的党员、团员接上组织关系。其次发现思想进步的学员，秘密发展为共产党员或者共青团员,在黄埔军校内建立由中共广东区委直接领导的党组织和共青团广州地委直接领导的团组织。并且按照中共广东区委的要求，发动黄埔军校学习的共产党员和共青团员，组织了青年军人联合会,1925年1月,经军校党代表廖仲恺同意,蒋先云和周逸群等4人发起筹备中国青年军人联合会。2月1日,召开成立大会，蒋先云当选为中国青年军人联合会中央执行委员会常务委员（该会只设有1名常务委员，为该会最高职务)。青年军人联合会成立之初，为了贯彻国共合作的精神,规定凡是黄埔军校的学生,都是青年军人联合会的当然会员。青年军人联合会是以共产党员、共青团员为骨干的革命青年军人的团体,直接接受中共广东区委的领导,它积极宣传反对帝国主义和封建军阀的革命理论和国共合作的统一战线政策,团结革命力量、打击国民党右派势力。青年军人联合会的发展壮大，引起了国民党右派势力的恐惧,因此，孙文主义学会应运而生。孙文主义学会成立后在蒋介石的暗中支持下,名义上是要造成“中山主义运动”,头防上女世明妇保持密切联会的势力扩张。黄居仁和黄埔军校的共产党组织保持密切联系,将中共广东区委的指示及时传达到黄埔军校党的组织,军校党组织发现的情况,及时在区委执行委员会会议进行研究,给予正确指导。

在黄埔军校以共产党人为首的青年军人联合会同国民党右派组织孙文主义学会斗争中,蒋介石对左派力量在黄埔军校的发展壮大早怀疑忌。他对两派斗争表面上采取局外人姿态，暗中则支持孙文主义学会，压制左派的活动。黄居仁通过军校党组织掌握这些情况后,要求军校共产党员、共青团员对蒋介石时刻保持革命警惕。当东征军克复潮梅之后,右派分子王柏龄乘周恩来因公离开总部之机,指使孙文主义学会成员无理取闹，甚至殴打共产党员李之龙。事后,蒋介石不但不处理肇事分子，反而将李之龙调离黄埔军校。蒋介石偏袒孙文主义学会的行动引起群众不满，青年军人联合会即发动师生,揭露王柏龄破坏国共合作的种种罪行。由于证据确凿,使王柏龄威信扫地。青年军人联合会这一行动,打在王柏龄身上，却痛在蒋介石心里,他曾私下对亲信说“打击了王柏龄，等于打断了我的一只臂膀。”