后来，他们断定青年军人联合会是发展共产党组织的基地，就决定采取以组织对付组织的行动，组织了孙文主义学会。孙文主义学会1924年底就开始酝酿了，最初取名为中山主义研究社,1925年4月在梅县召开筹备会议，后在潮州成立。该会以军校学生为发展对象，其主要头目，第-期有潘佑强、贺衷寒、邓文仪;第二期有杨引之等人，孙文主义学会成立后在蒋介石的暗中支持下，名义上是要造成“中山主义运动”，实际上是要用它牵制青年军人联合会的势力扩张。孙文主义学会是以反对共产党，反对国共合作，反对三大政策为宗旨的，是新右派的群众性组织。黄居仁对孙文主义学会的反动性质认识非常清楚，认为是国民党右派在蒋介石支持下，建立的反对共产党和国民党左派的反革命组织。1926年1月5日， 他在《团广州地委十二月政治报告(第2号) -一同孙文主义学会斗争和“反基"运动情况》中指出:自从中国共产党员和共青团员加入国民党，建立革命的统-战线，开展国民革命工作后，国民党的组织，都有一天一天的发展，民族革命的潮流也日益高涨起来。国民党右派看见工农运动、军事运动都是共产党和共青团实际领导，无产阶级的势力日益发展壮大，自然恐慌自己的势力不够，不能不组织孙文主义学会以对抗我们。所以他们的组织并不是广州一隅的事情，乃是全中国革命前途一-件重 大的事。黄居仁在孙文主义学会的章程未公开之前，就派共青团员弄到了其章程草案，摸清其章程上明确写有反对马克思主义和列宁主义。因此秘密组织共产党员和共青团员，监视孙文主义学会人员活动。

在广东广州革命政府两次东征以后，共产党领导建立的中国青年军人联合会同蒋介石暗中操纵的新右派组织孙文主义学会之间的斗争愈演愈烈。在蒋介石任军长的国民革命军第一军中，共产党和左派力量影响大，是蒋介石难以容忍的。由于两次东征和平定杨、刘叛乱的胜利，是在蒋介石的指挥下进行的，蒋介石的地位和影响已大大增强，于是他开始加紧对共产党的限制，甚至提出要共产党员要么退出共产党，要么退出黄埔军校和国民党。