随后，袁世凯又指示唐绍仪继续与四国银行团商谈善后大借款的事宜。唐总理在同四国银行团的谈判中，心情很不愉快，因为洋大人们不仅条件苛刻，而且还动辄要安插人手进行财务监督、要求抵押担保等，于是他转头一想，便用起了当年老领导李鸿章“以夷制夷”那套招数，并暗中找了比利时银行借得一百万英镑的垫款。
有了这笔借款，唐绍仪这才信心满满的前往南京组阁，在武昌、南京和上海花掉数百万两银子后方才欣然返京。但还没有等到他向袁总统报功，四国公使却发来一个照会，抗议唐总理无视四国银行团的优先权，擅自向他家借得巨款云云。
袁世凯见此照会，也知道自己理亏在先，只得推说不知此事，将责任推到唐总理的身上。唐总理正要辩解，袁总统却教了他一个方法，让美国公使从中斡旋调停，届时退掉比利时银行的借款而只从四国银行团告贷。四国银行团本都是些见利忘义的商人，见唐绍仪答应退掉比款，便也不再追究，双方继续进行善后大借款的谈判。比利时银行人微言轻，总归是干不过四国银行团，只好忍气吞声的将本金和利息索回了事。
在同四国银行团随后的谈判中，唐绍仪按袁总统的指示，要求借七千五百万两的巨款，比之前提出的数额多出数倍。四国银行团的洋大人也很是吃了一惊，问唐总理借款将作何用途，唐总理未经思考便随口答道：“无非是遣散军队等用处。”洋大人接口问道：“遣散军队到底要多少款项？”
唐总理一时也没有具体测算，只说至少要三千万两。洋大人听后便露出一副很不信任的样子，称借款可以，但必须要派人监督借款用途，不然就不肯出借。唐绍仪听后方知事态重大……那四川的保路运动不就是因为大借款引起？
正当借款谈判陷入困境时，内阁的财政总长熊希龄正好来到北京上任，唐绍仪也就趁势将这个借款重担推给了熊财长。熊希龄是湖南凤凰厅（今凤凰县）人，人称“熊凤凰”，其人从小就天资聪慧，14岁中秀才，18岁中举人，25岁中进士，少年新秀，思想新潮，在戊戌变法期间，曾参与湖南新政，后来又随同五大臣出国考察宪政，由此青云直上。1909年，熊希龄受命前往奉天省（今辽宁）整理地方财政税收，一时脱颖而出，被誉为朝中的理财高手。
辛亥革命后，熊希龄因赞成共和，便辞官回到上海并参加了章太炎组织的统一党（后合并为共和党）。在被唐总理提名为内阁财政总长后，熊希龄开始加以婉谢，但后来也是盛情难却，只得答应就任。不过，他没有立即前往北京，而是先在南京帮黄兴解决民军的军饷问题，之后才赴北京。
离开南京时，熊希龄也十分清楚南京那些民军缺乏军饷的窘状及其潜在的兵变危险，于是他上任后首先要做的事情就是筹集一笔借款先给黄兴，用以裁撤部队。这位新上任的财政总长的确有几分本事，他不但善于理财，而且口才很好（这点比唐总理强），硬是凭着三寸不烂之舌，将整个借款计划、用途及其归还方式等说得是头头是道，洋大人们也听得心悦诚服，当即便答应先垫款三百万两，随后再议善后大借款的具体事宜。
等到熊希龄兴致勃勃的要将好消息告诉黄兴时，南京方面却发来一纸电文，称：“垫款章程不但要监督中国财政，还要监督我国军队，是可忍孰不可忍？军队乃是国防之命脉，岂能容许外国人干涉到这种地步？熊财长难道忘记保路运动是怎么发生的吗？难道不知道埃及借债亡国的教训了吗？这二十年来，无数中华志士赴汤蹈火，不惜一死，方换得民国的今天，难道为了区区三百万的垫款就要将民国葬送？我们这些人只要还有一口气在，就绝不会承认这亡国的借款条件，请熊财长务必取缔借款”云云。
熊希龄被这么大义凛然的电报一吓，慌忙看这落款是谁，却见电报下角清清楚楚的写着“黄兴”及南京诸多民军将领的大名。熊希龄这下被气得是脊梁后背几乎要冒出火来……我这么辛辛苦苦的去和洋人们周旋，好不容易借得三百万银子，图的啥？不就是为了给你黄兴解燃眉之急吗？这下好，你倒狗咬吕洞宾，不识好人心，难道你忘了当初在电报里又是如何急吼吼催款的吗？
一怒之下，熊希龄便将黄兴催款的电报公之于众，并将南京民军因为缺饷而可能哗变的危险及其自己的委曲求全添油加醋的叙述了一番。不仅如此，熊希龄还在电报中讽刺黄兴缺乏政治经验，不懂经济，说要是黄兴在位的话，非得将民国葬送不可。
革命元勋黄兴与新任财长熊希龄的电报战，立刻引起了轩然大波。各地的都督、议员、报纸等等，纷纷各抒己见，有指责熊希龄软弱外交的、有大骂财长卖国的，也有批评黄兴不顾大局的，不一而足。
在舆论声浪的喧嚣中，临时参议院也来干涉，一些议员要求唐绍仪及其阁员前往参议院说明情况。在会议上，年轻气盛的议员们对唐绍仪群起责问，他们不但追问比利时银行借款的用途，还指责唐总理失信于国民、见嫌于邻国，甚至有人大骂唐绍仪是“亡国总理”。
唐绍仪哪里见过这般架势（这下知道民主的厉害了吧），竟在会场疲于应付，到后来干脆就失去反应，在那里呆若木鸡，一言不发。而熊希龄得知垫款一事已经泡汤之后，干脆就赌气不去部里上班，政务陷于停顿。
唐绍仪无端受了参议院的这番逼迫之后，也是气得无处发泄，当天晚上就向袁总统提请辞职。袁世凯虽然对唐绍仪不满，但他也不想让首任内阁这么快就垮台，只好温言挽留，劝唐绍仪稍安勿躁，姑且忍耐一二。
一波未平，一波又起。借款一事暂时搁下不提，直隶都督的人选问题又起波澜。原来，在辛亥革命后，各省都流行由本省人担任都督，如黎元洪督鄂、李烈钧督赣等，当时直隶一些议员如谷钟秀等人便提议由王芝祥担任直隶都督。
王芝祥，直隶通县人，原为广西布政使并兼巡防营统领，在辛亥革命中反正参加革命，后来由于陆荣廷出任广西都督，王芝祥在广西立足不住，便率部前往南京准备参加北伐。可惜北伐未果，南方革命党便想让他出任直隶都督，以扩大革命党的势力。
各位想，直隶是北洋军的心腹地带，卧榻之侧岂容他人鼾睡？因此，袁世凯对南方革命党的提议置之不理，而是任命了自己的心腹张锡銮出任直隶都督。唐绍仪在南京组阁期间，试图调和南北矛盾，当时也附和了南方革命党的要求，并向袁世凯提出由王芝祥出任直隶都督。袁世凯虽然心中不快，口头上却不作反对，只说让王芝祥先来北京。唐绍仪以为袁世凯已经同意任命王芝祥出任直隶都督，于是兴冲冲的给王芝祥发电报让他来京。
等王芝祥到了北京，唐绍仪请求袁世凯发布任命书的时候，袁世凯却拿出几份电报，却是直隶五路军界反对王芝祥就任都督的通电。唐绍仪看后极为气愤，说：“大总统前面已经答应，如何能失信于人？何况，军人干涉政治，恐怕非民国之福。”
袁世凯哼了一声，说：“之前那是你答应的，我何曾答应？王芝祥是革命党人，他要是来做直隶都督，岂不是引狼入室？”唐绍仪忿忿然道：“任命不任命那是内阁的职权，岂能因军人干涉就随意改变？再者，王芝祥已经到京，叫我这个内阁总理如何交代？”袁世凯掀须一笑，道：“这却不难，老夫自有办法。”
要说这民主社会，军人即当保持中立，不该干涉国内政治，但说起来容易，实际上却极难做到。在民国期间，军人干政几乎是稀松平常之事，之前的北京兵变、这次的五路军界通电与登峰造极的军阀政治相比，实在是小巫见大巫，不值一提。唐绍仪在年轻的时候亲身感受过美国的民主政治，他也意识到军人干政问题的严重性，但他手头没有枪杆子，又能奈何？倘若他有枪杆子，那岂不也是军人干政？这似乎是个奇特的悖论，而在上个世纪的中国始终无法跳出这个怪圈。
正当唐绍仪被弄得十分被动、不知道如何向王芝祥解释的时候，袁世凯却单独召见了王芝祥，答应给他一笔丰厚的经费，让他改任南方军队宣慰使，回南京协助江苏都督程德全遣散军队。唐总理的面子毕竟不如袁总统的大，而王芝祥原本也是个见风使舵的官僚，他在得到袁世凯的保证后，竟对朋友的支持置之不顾，一口答应了袁世凯的新任命。
等到王芝祥拿着任命书到了唐绍仪那里要他副署时，唐总理竟然完全蒙在鼓里，丝毫不知道这回事。等唐绍仪回过神来，这才知道他被上司袁总统和朋友王芝祥双双出卖！愤懑之下，唐绍仪断然拒绝了副署的要求，而王芝祥却是个很在乎官位的人，他竟然拿着没有内阁总理副署的任命书，径直赴南京就任去了！
当天晚上，唐绍仪一夜未眠，彷徨终夜。此时的他，想起就任总理一个多月来的种种挫辱和非难，心中仿佛打翻了百味瓶，伤心、愤懑、孤独、无奈，真是百感交集，一时俱来。独坐寒窗临孤月，唐绍仪不免自言自语道：“民主共和，乃《临时约法》所定。既然大总统的命令不需要内阁副署，我这个总理还当它做甚？”
言毕，唐绍仪心意已定，待到天色渐亮，他就收拾行囊，携家眷直接奔火车站往天津去了。