19世纪末，为解除法国的保教权，清政府多次尝试同梵蒂冈建立直接外交关系，因法国反对而未能实现。20世纪初，中国北洋政府与梵蒂冈恢复接触，双方为建立外交关系继续作出努力。1914年11月，教宗本笃十五世通过北京的宗座代牧主教向袁世凯政府表示问候。1918年，中国外长、天主教徒陆徵祥基于内政和外交的考虑曾与罗马教廷接触，商讨建交事宜。1918年7月11日，梵蒂冈还在教廷机关报《罗马观察日报》对外宣布此事并准备派遣一位宗座特使赴华。由于遭到法国政府和舆论一致反对，建交一事只得搁置。

驻华宗座代表刚恒毅（1876—1958年）

    1919年“五四”运动后，中国天主教徒爱国热情高涨、民族意识觉醒，罗马教廷采取了措施，使天主教“中国化”。在这样的背景下，中国北洋政府与梵蒂冈又为建交进行接触。1922年，罗马教廷正式委派刚恒毅（1876－1958年）主教为宗座驻华代表，贯彻执行。刚恒毅于11月抵达香港，1923年元旦到北京拜见总统黎元洪。宗座代表临时公署建在武汉，1928年正式落座于北京原恭王府。同年8月1日，教宗庇护十一世发表“八一通电”，承认中国南京政府。1929年1月22日，刚恒毅在南京受到蒋介石接见，将“八一通电”面呈蒋介石。1933年刚恒毅因病辞职回国，接替他任宗座代表的是蔡宁（1890－1958年）。

    罗马教廷向中国派遣宗座代表，结束了法国保教权，但是中、梵关系的发展并非一帆风顺。1934年，罗马教廷公然承认由日本帝国主义一手炮制的伪“满洲国”。2月，任命巴黎外方传教会原吉林教区主教高德惠为教廷驻满洲国的宗座代表，把日本占领下的东北从中国传教区中划出，成立单独的东北传教区，长春天主堂公布了《天主教公教会发表书》，承认“满洲国”。1938年9月，教宗庇护十一世接见伪“满洲国”教务代表团，10月致信伪满洲国皇帝溥仪。1939年2月，刚刚当选教宗的庇护十二世致信溥仪，表示罗马教廷立场不变。同年3月12日，中国政府特使顾维钧专程赴罗马参加庇护十二世的加冕典礼，庇护十二世在接见中国特使时对于日本的侵华暴行没有表示明确谴责。蔡宁还发布牧函，要求中国天主教徒对于日本的侵华暴行保持超然态度，“常以明智和忍耐，埋头于神圣事务，不偏左，不偏右，即表面上的行动也当避免”。1942年，罗马教廷不顾盟国劝导和反对，一意孤行地同日本建立了外交关系。

    罗马教廷以及宗座代表的所作所为引起中国人民和广大天主教徒的强烈不满。中国政府通过外交途径向罗马教廷明确表示，蔡宁的牧函同中国政府的抗战立场背道而驰。从1931年“九·一八事变”、日寇攻占我国东三省，到1937年“七·七卢沟桥事变”抗战全面爆发，民族存亡牵动了每一个有爱国心的中国人，广大天主教徒没有也不可能置身度外。国难当头，匹夫有责。中国天主教著名人士，如马相伯、陆徵祥、于斌等人均积极发表支持抗战的爱国言论。92岁高龄的马相伯先生在1931年10月23日发表《日祸敬告国人书》，呼吁全国人民团结一致“自赎自救”。同年12月写就《泣告青年书》，号召青年人下农村唤醒民众投入救亡运动。1932年1月，老人又在《新年告青年书》中要青年不买日货，在经济上抵制日本；要研究科学，以科学立国自强；要唤起民众，救亡图存。正在西北巡视教务的罗马宗座代表转往汉口，在那里发布牧函，敦促中国天主教会加强战时的慈善救济工作，并亲自在汉口主持追悼阵亡将士的弥撒。许多爱国教徒纷纷捐款捐物，支援前线；有的还组织救护团体，上前线抢救伤员。伪“满洲国”内的天主教徒的传教士也暗中帮助当地的抗日活动，甚至在家中掩护抗日首领。1938年中国共产党建立宛平县抗日民主政府，天主教赵神父当选为政府参议。他在自己教堂里接待地方和军队干部，组织了救护队收治负伤的抗战将士。

    罗马教廷与日本建交后一年多，于1943年6月与中华民国政府建立了正式外交关系。同年7月，谢寿康被任命为中国驻教廷的第一任公使。但是罗马方面没有相应派遣驻华公使，直到1946年，摩纳哥人黎培里（1897—1967年）总主教被任命为首任教廷驻华公使。1946年中国驻梵蒂冈公使谢寿康离任，天主教学者吴经熊接替他为第二任公使。1949年6月吴经熊离任赴美，朱英以“公使馆代办”身份继任。

    1946年4月，中国天主教正式建立圣统制。全国分为20个教省，每个教省设一个总主教。教省之下，设79个教区，各设一名主教。1948年，设20教省，84个教区，35个教会行政区，主教区的总数达到139个。