却说，佐尔格主持共产国际谍报工作后，力主谍报工作与国际政治活动脱钩，禁止外派侦察员与外国共产党组织建立联络和互通有无。他的对外侦察独立化倾向，使他与共产国际的关系日趋紧张。当时，持传统观点的共产国际领导人都反对佐尔格，苏联红军秘密情报机构格鲁乌（ГРУ）苏联秘密警察（ГБ）外事部，也支持共产国际的意见。表面上，佐尔格的处境相当孤立，实际上他心里有数，因为他在苏共高层和秘密情报部门里有靠山，一个是共产国际主管高官之一彼特尼茨基，另一个是格鲁乌创始人，红军第四侦察局局长别尔津（Ян Берзин，1889-1938）。

此外，佐尔格与另外两位共产国际的主管高官，即库西宁和曼努伊尔斯基的关系也相当不错，他们后来成为苏共领导人之后，依旧与佐尔格过从甚密。最终，1929年，佐尔格在他们的支持下与共产国际决裂，投奔苏联怀抱，加入了格鲁乌，正式当上了苏联对外侦查员，直到1944年为苏联尽忠。佐尔格在苏联卫国战争爆发前夕，还通过他们接近苏共中央政治局成员，意在为自己争取更多的机会，最终，他结识了斯大林，成为苏联政治地位最高的苏维埃间谍。这件事的背后也是话里有话，据说，佐尔格虽为苏联间谍后，因其原籍为德国，而苏联又对其他民族存在心理上的排斥，心中一直忐忑不安，所以，他从投奔苏联之初，便为自己在苏联寻找政治保护伞，最终他如愿以偿地找到了斯大林。

佐尔格之所以被斯大林和苏共高官赏识，有一个重要原因，即佐尔格精通情报业务，且经验丰富，而苏联当时这样的人才极为匮乏。佐尔格和苏维埃秘密警察领导人之一的别尔津曾多次长谈，他以自身的经验，深刻分析了早期苏联秘密警察系统的缺陷不足及改良措施，特别是他对苏联远东地区情报工作的独特看法，他对情报学入木三分的专业解读深得别尔津赏识。他说，远东是世界间谍的冒险乐园，各国情报机构活动异常活跃，对苏维埃的安全构成严重威胁，应在那里尽快建立苏维埃自己的谍报网。佐尔格与别尔津一拍即合，别尔津当即决定将佐尔格派往远东，首先在中国和日本构建苏联红军秘密情报网，旨在为格鲁乌提供日本在华军事情报，以及摸清中国国共两党的政治动向，与中共建立密切联系并参与其政治活动。时隔多年，佐尔格自我评价说，他在中国和日本所从事的秘密谍报活动，可谓前无古人。

佐尔格敢于受命出征远东，也出于自信。他不仅知识储备丰厚，精通多门外语，还具有共产国际工作经验，早在法兰克福工作时期，就具备了领导世界共产主义国家新闻出版工作的才能，其本人对新闻记者行业情有独钟，还出版过多部国际共运研究学术专著，20年代在德国和俄罗斯享有盛名。所以，佐尔格奉命前来中国，亦选择了新闻记者做掩护身份。1929年底，佐尔格返回德国老家，办理了《德意志粮食报》（Soziologische magazin）的记者注册手续，1930年1月化名亚历山大•约翰逊前往中国上海开展工作。

据苏智良教授撰文指出，佐尔格受命需要在上海完成的任务包括：第一，对南京政府社会、政治分析；第二，研究南京政府的军事力量；第三，研究中国各派系的社会政治结构、军事力量；第四，南京政府的内政与社会政策；第五，中国等各国尤其是日本对苏联的外交政策；第六，南京政府及各派系对美英日的政策；第七，列强在华军事力量研究；第八，治外法权及租界问题；第九，中国工业概况及工人、农民状况研究，等。

佐尔格仅用三个月的时间，就在从广东到满洲里的日军占领区域关键城市，建立了苏联秘密谍报网，据悉，该情报网其中包括中国组和外国组，中国组的主要成员有吴仙青、蔡叔厚、张放、陈翰笙（社会科学家）及夫人、王学文（经济学家，中共江苏省委委员）及夫人刘静淑等人。国际组，他招募了德国《法兰克福日报》（Frankfurt daily）记者史沫特莱（Agnes Smedley，后加入苏联红军秘密情报机构）等国际知名记者加盟，史沫特莱又将日本《朝日新闻》记者尾崎秀实介绍给佐尔格，尾崎秀实后成为佐尔格在上海的左膀右臂。据苏智良所著《上海左尔格小组情报网》介绍，参与国际组工作的还有：德籍苏联红军第四侦察局报务员马克斯•克劳森（Max Gottfried Friedrich Clausen，1899-1979）、 波兰共产党人约翰（格里沙）、中共上海联络处，日籍中国共产主义青年团团员中西功、日籍中共特科成员，中共党员西里龙夫以及日本新闻社驻上海办事处成员川合贞吉、船越寿雄、德国共产党员，市政工程师鲁特•维尔纳，以及德国人格哈特•艾斯勒、电报译码员兼小组联络员爱沙尼亚人保尔•里姆、德国姑娘伊萨、德国人弗雷德•施特恩、德国商人瓦尔特及情报人员诺伦斯-吕格夫妇等等。

佐尔格的中国间谍网编织完成后，便借助在共产国际工作中获得的丰富经验，游刃有余地开展工作。那时上海虽然还有格鲁乌和苏联秘密警察派出的其他间谍，但是，佐尔格知道，同行之间是冤家，相互帮助是根本不可能的，他依靠自己的谍报网，通过收买国民政府里的德国通信军官施特尔茨的中国太太，获取了国民政府南京总司令部及其所属部队的无线电通信密码，以及德国军事顾问相互之间的无线电通信密码和德国军事顾问与国民党政府进行联络的电话号码。佐尔格的成绩令莫斯科兴奋不已，格鲁乌斥巨资支持佐尔格在华的间谍工作，因为1930年斯大林断定，苏联的主要军事威胁来自德国和日本。