沒想到卻因此引來一場軒然大波，按一般慣例，協(xié)定草案應(yīng)先向外交部長匯報(bào)，并經(jīng)內(nèi)閣全體會(huì)議討論罷方可簽字。王正廷可能是疏忽了，竟忘了這道程序。結(jié)果，外交總長顧維鈞首先起來反對，他提出草案中有三大疑點(diǎn)：按規(guī)定應(yīng)廢除沙俄同中國以及其他列強(qiáng)簽署的有關(guān)中國的一切條約，卻不包括蘇俄同外蒙“獨(dú)立”新政府簽署的條約；蘇聯(lián)從外蒙撤軍具有條件性；俄國東正教會(huì)房地產(chǎn)的移交問題。顧維鈞的態(tài)度得到內(nèi)閣同僚的一致附和。同時(shí)，列強(qiáng)也千方百計(jì)想加以阻撓，因此北京政府宣布王正廷越權(quán)，提出中蘇顧維鈞與加拉罕之間直接進(jìn)行。
蘇方對此作出強(qiáng)烈反應(yīng)。3月16日，加拉罕下最后通牒，限北京政府3日內(nèi)承認(rèn)草案。3天期滿后，他又轉(zhuǎn)達(dá)蘇聯(lián)政府的指示，說中蘇之間的正式談判已宣告結(jié)束，如要重開談判，中國必須立即恢復(fù)蘇聯(lián)的邦交。
此時(shí)，北京政府日子相當(dāng)難過，國內(nèi)各社會(huì)團(tuán)體紛紛通電，要求政府承認(rèn)蘇聯(lián)，簽訂協(xié)定，北京學(xué)聯(lián)更是以火燒趙家樓的舊事來警告顧維鈞，而顧維鈞家中確實(shí)有人送去過炸彈，結(jié)果誤炸了管家和廚師。另一方面，國民黨一大上正式確立的“聯(lián)俄”方針，使北京政府有蘇聯(lián)會(huì)同孫中國領(lǐng)導(dǎo)的南方革命政府建交的擔(dān)憂。同時(shí)國際上也出現(xiàn)了競相承認(rèn)蘇聯(lián)的熱潮。這一切，使北京政府恍然覺察，與蘇聯(lián)恢復(fù)交行已事不宜遲。
表面上，中蘇談判象是已中斷的樣子，但私下的磋商卻一直持續(xù)，北京政府態(tài)度明朗化以后，這種節(jié)奏進(jìn)一步加快。經(jīng)反復(fù)交涉，加拉罕同意中國方面提出的三項(xiàng)修正案。雙方還約定協(xié)議草案仍保持草簽時(shí)的原樣，修改通過聲明和交換照會(huì)進(jìn)行，聲明和換文。
5月31日，顧維鈞與加拉罕代表中蘇雙方簽署了《中俄解決懸案大綱協(xié)定》，協(xié)定包括正文及7個(gè)聲明、1個(gè)照會(huì)，還有《暫行管理中東鐵路協(xié)定》。前者規(guī)定，兩國立即恢復(fù)正常的使領(lǐng)關(guān)系，并在1個(gè)月內(nèi)舉行會(huì)議，商議解決懸案的詳細(xì)辦法，廢止帝俄與中國及第三國訂立的一切有損中國主權(quán)利益的條約，包括將來或現(xiàn)在的條約；蘇聯(lián)放棄庚子賠款的俄國部分和在中國境內(nèi)的一切租界、租借地，取消在華領(lǐng)事裁判權(quán)；中東鐵路由中國贖回，在沒有贖回之前，鐵務(wù)業(yè)務(wù)由兩國共管；蘇聯(lián)承認(rèn)外蒙為中華民國的一部分，一旦中蘇會(huì)議上商定有關(guān)問題，駐外蒙的蘇軍將全部撤退。后者規(guī)定：中東鐵路純系商業(yè)性持，營業(yè)事務(wù)實(shí)行兩國共管，其余所有關(guān)系中國國家及地方主權(quán)之各項(xiàng)事務(wù)，如司法、民政、軍事、警務(wù)、市政、稅務(wù)、地畝（除鐵路自用地外）等，均由中國政府管理，蘇聯(lián)政府將允諾中國將來可以贖回中東鐵路，及該路所屬之一切財(cái)產(chǎn)，并允諾將該路一切股票債票稱歸中國，兩國政府承認(rèn)對中東鐵路之前途，只能中俄解決，不許第三者干涉。協(xié)議還規(guī)定：中東路設(shè)理事長，為最高決議機(jī)關(guān)，理事長為中方，副理事長為俄方，設(shè)路局局長一人由俄方擔(dān)任，副局長二人，俄華各一，均由理事會(huì)委派，由各國政府核準(zhǔn)，正副局長職權(quán)由理事會(huì)規(guī)定；路局各處正副處長由理事公委派，如處長為華人，則副副處長為俄人，反之亦然；路局各級人員按中俄兩國各半任用。
張作霖在第一次直奉戰(zhàn)爭失敗后曾宣布“獨(dú)立”，公開宣稱：自1924年5月1日起，一切北京訂立關(guān)于東三省、蒙古、熱河、察哈爾之條約，未得本總司令允許者，概不承認(rèn)，故此為了爭取東北當(dāng)局對有關(guān)中東路協(xié)定的支持，蘇聯(lián)政府又于同年9月與東方地方當(dāng)局簽訂了《奉俄協(xié)定》，除重復(fù)《中俄協(xié)定》之內(nèi)容外蘇方還作了進(jìn)一步的讓步，中東路無償全部交給中國的期限從舊俄時(shí)代規(guī)定的八十年縮短為六十年，并在此期間內(nèi)允許中國贖回。
《中俄協(xié)定》同《奉俄協(xié)定》具有十分重大的意義，它是繼《中德協(xié)約》后中國與大國締結(jié)的又一平等條約，推動(dòng)了中國人民反帝運(yùn)動(dòng)的發(fā)展，并確定同年的9月3日－9日為全國的反帝國主義運(yùn)動(dòng)周，并發(fā)動(dòng)了收回教育權(quán)和非基督教運(yùn)動(dòng)，而中國在這兩個(gè)條約中也獲得很大的利益。