沒想到卻因此引來一場軒然大波，按一般慣例，協定草案應先向外交部長匯報，并經內閣全體會議討論罷方可簽字。王正廷可能是疏忽了，竟忘了這道程序。結果，外交總長顧維鈞首先起來反對，他提出草案中有三大疑點：按規定應廢除沙俄同中國以及其他列強簽署的有關中國的一切條約，卻不包括蘇俄同外蒙“獨立”新政府簽署的條約；蘇聯從外蒙撤軍具有條件性；俄國東正教會房地產的移交問題。顧維鈞的態度得到內閣同僚的一致附和。同時，列強也千方百計想加以阻撓，因此北京政府宣布王正廷越權，提出中蘇顧維鈞與加拉罕之間直接進行。

　　蘇方對此作出強烈反應。3月16日，加拉罕下最后通牒，限北京政府3日內承認草案。3天期滿后，他又轉達蘇聯政府的指示，說中蘇之間的正式談判已宣告結束，如要重開談判，中國必須立即恢復蘇聯的邦交。

　　此時，北京政府日子相當難過，國內各社會團體紛紛通電，要求政府承認蘇聯，簽訂協定，北京學聯更是以火燒趙家樓的舊事來警告顧維鈞，而顧維鈞家中確實有人送去過炸彈，結果誤炸了管家和廚師。另一方面，國民黨一大上正式確立的“聯俄”方針，使北京政府有蘇聯會同孫中國領導的南方革命政府建交的擔憂。同時國際上也出現了競相承認蘇聯的熱潮。這一切，使北京政府恍然覺察，與蘇聯恢復交行已事不宜遲。

　　表面上，中蘇談判象是已中斷的樣子，但私下的磋商卻一直持續，北京政府態度明朗化以后，這種節奏進一步加快。經反復交涉，加拉罕同意中國方面提出的三項修正案。雙方還約定協議草案仍保持草簽時的原樣，修改通過聲明和交換照會進行，聲明和換文。

　　5月31日，顧維鈞與加拉罕代表中蘇雙方簽署了《中俄解決懸案大綱協定》，協定包括正文及7個聲明、1個照會，還有《暫行管理中東鐵路協定》。前者規定，兩國立即恢復正常的使領關系，并在1個月內舉行會議，商議解決懸案的詳細辦法，廢止帝俄與中國及第三國訂立的一切有損中國主權利益的條約，包括將來或現在的條約；蘇聯放棄庚子賠款的俄國部分和在中國境內的一切租界、租借地，取消在華領事裁判權；中東鐵路由中國贖回，在沒有贖回之前，鐵務業務由兩國共管；蘇聯承認外蒙為中華民國的一部分，一旦中蘇會議上商定有關問題，駐外蒙的蘇軍將全部撤退。后者規定：中東鐵路純系商業性持，營業事務實行兩國共管，其余所有關系中國國家及地方主權之各項事務，如司法、民政、軍事、警務、市政、稅務、地畝（除鐵路自用地外）等，均由中國政府管理，蘇聯政府將允諾中國將來可以贖回中東鐵路，及該路所屬之一切財產，并允諾將該路一切股票債票稱歸中國，兩國政府承認對中東鐵路之前途，只能中俄解決，不許第三者干涉。協議還規定：中東路設理事長，為最高決議機關，理事長為中方，副理事長為俄方，設路局局長一人由俄方擔任，副局長二人，俄華各一，均由理事會委派，由各國政府核準，正副局長職權由理事會規定；路局各處正副處長由理事公委派，如處長為華人，則副副處長為俄人，反之亦然；路局各級人員按中俄兩國各半任用。

　　張作霖在第一次直奉戰爭失敗后曾宣布“獨立”，公開宣稱：自1924年5月1日起，一切北京訂立關于東三省、蒙古、熱河、察哈爾之條約，未得本總司令允許者，概不承認，故此為了爭取東北當局對有關中東路協定的支持，蘇聯政府又于同年9月與東方地方當局簽訂了《奉俄協定》，除重復《中俄協定》之內容外蘇方還作了進一步的讓步，中東路無償全部交給中國的期限從舊俄時代規定的八十年縮短為六十年，并在此期間內允許中國贖回。

　　《中俄協定》同《奉俄協定》具有十分重大的意義，它是繼《中德協約》后中國與大國締結的又一平等條約，推動了中國人民反帝運動的發展，并確定同年的9月3日－9日為全國的反帝國主義運動周，并發動了收回教育權和非基督教運動，而中國在這兩個條約中也獲得很大的利益。