离湘赴沪后不久，毛泽东又会同共产国际代表马林等先期到达广州，和陈独秀、李大钊、张国焘、谭平山、蔡和森、陈潭秋、罗章龙等，为中共三大做准备工作。一九二三年六月十二日至二十日，中共三大在广州东山恤孤院后街三十一号召开。毛泽东以湘区党的代表身分出席。
会议的中心议题是讨论国共两党的合作。还在去年八月，中共中央根据共产国际的意见，在杭州西湖召开特别会议，决定同国民党实行合作。一九二三年二七惨案留下的血的教训，使中国共产党进一步认识到中国的民族民主革命只靠工人阶级孤军奋斗是不够的，应该争取一切可能的同盟者。由于孙中山领导辛亥革命取得了成功，国民党在社会上有威信，又在南方建立了根据地。孙中山在民国成立后几经挫折，深感中国革命要改弦易辙，对共产党员同他合作抱着积极欢迎的态度。西湖会议后，李大钊、陈独秀等一批共产党的重要领导人就陆续以个人名义加入了国民党。
对这样做，毛泽东是有思想准备的。四月离开长沙时，他在湖南自修大学主办的《新时代》创刊号上发表了《外力、军阀与革命》一文，提出：中国的反动势力太大了，外力和军阀勾结为恶，共产党和一些“非革命的民主派”都将同“革命的民主派”国民党合作，以“成功一个大的民主派”。到广州后，他在《向导》上发表的文章中提出对中国革命的基本看法：国民革命的历史使命是“打倒军阀并打倒和军阀狼狈为奸的外国帝国主义”，只有“建立严密的联合阵线，这个革命才可以成功”①。从五四时期倡导民众大联合，到这时主张建立联合阵线，他的思路是连贯的。
在三大上，对国共要不要合作并没有什么异议。但围绕合作的具体组织形式，却发生了争论。张国焘认为，工人阶级只能在自己政党的旗帜下进行革命，不同意全体共产党员特别是产业工人加入国民党，去搞党内合作，否则会取消共产党的独立性，也不同意在劳动群众中发展国民党组织。张国焘的观点成为会议争论的焦点。多数人不同意他的观点。毛泽东在发言中根据湖南工人运动的经验，说明搞联合阵线的必要性，认为大批工农加入国民党，正可以改造它的阶级成分，和资产阶级建立联合阵线，共同完成民族民主革命的需要。经过讨论，会议通过了“党内合作”的主张，决定全体共产党员以个人名义加入国民党，但仍保持共产党组织的独立性。
大会选出九名正式委员、五名候补委员组成新的中央执行委员会。陈独秀、毛泽东、罗章龙、蔡和森、谭平山为中央局（相当于后来的政治局）成员。五个人中有三个人原来是新民学会成员。陈独秀为中央局委员长，毛泽东为中央局秘书。根据规定，“秘书负本党内外文书及通信及开会之责任，并管理本党文件。本党一切函件须由委员长及秘书签字”②。
毛泽东第一次进入中国共产党的领导核心，这时他三十岁，刚好是“而立”之年。
三大后，中央机关暂留广州。这时起，毛泽东开始接触国民党的一些上层人物。他曾和李大钊、陈独秀到廖仲恺家商谈国共合作的具体事宜，还常去培正路简园谭延
