宗翰与宗望此举，很明显地表现出他们有拒绝交割山后之意。不久，宗望派人给谭稹送来一份文牒，对谭稹大加指责，主要指责三点：一、招纳叛人张觉；二、收留原辽国外逃人口与职官；三、拒不给付曾许诺的二十万斛军粮。
金人对谭稹的不满，就是对宋朝的不满。这种不满情绪似乎越来越强烈，宋金关系顿时有些紧张起来。
这时候，童贯与蔡攸坐不住了，他们趁机入宫进言，建议罢免谭稹。对于金人所指责的三件事，责任在谁，宋徽宗和他的大臣们其实都很清楚。宋徽宗想来想去，觉得只能让谭稹来做替罪羊，别无他法，于是以谭稹“处置无方”为由，免去其太尉与宣抚使职务，贬为顺昌军节度副使。宋徽宗将全部责任推到谭稹身上，希望以此来消除金人对大宋的怨恨。
接着，宋徽宗重新起用童贯，让他重领枢密院事，继续担任河北、河东、燕山府路宣抚使，以太原知府张孝纯为宣抚副使。
宋徽宗令童贯立即启程，赶赴太原，赶紧想办法缓和与金国的紧张局面，继续努力争取交割云中地区的土地。同时，宋徽宗还交给童贯一个外人无从知晓的秘密使命，即寻找机会，迎候天祚帝来大宋。
宣和六年八月，宋徽宗以收复燕云失地为由，颁布诏书，大赦天下，诏书中说：禁暴者以不杀为武，本仁义以行师；域民者以博爱为公，兼威怀而示德。朕绍承丕绪，统御庶民，诞膺厥邦，昭上帝溥将之命；克笃前烈，恢前人燕翼之谋。兴念燕云，久沦胡虏，故家望族，散依四貊之酋；广谷大川，阻隶九畿之籍。寝移巢穴，窃据封圻，方艺祖肇，基实轸恤，民之虑逮，神考嗣服。深惟复古之图，欲成继代之勋，必大因时之利。
蠢兹戎丑，辄背世盟，既种落之内讧，复神人之切愤。惟春秋以王者大一统，方隆广覆之恩，而要荒知中国有圣人，咸起来苏之望，整我师旅，彻彼土强，寒律收威，见天心之助顺；壶浆载道，知人意之乐从。未阅再期，悉平两路，冈峦靡迤，东逾碣石之封；亭障骞翔，西轶榆溪之阻。分州画野，兴教厚民，拯百年涂炭之馀，咸跻寿域；还五政衣冠之旧，复睹华风。一新象纬之清明，丕变群情之怿悦。
自今以始，永绥夷夏之宁，与物为春，均霈遐迩之泽，可大赦天下。於戏！兼弱攻昧，辟土宇以昭章；发政施仁，浃海隅而丕冒。咨尔有众，咸体朕怀。
宋徽宗忽然颁布这样一道诏书，其用意何在？很显然他是有针对性的，他应该是针对当时突然紧张起来的宋金局势。换言之，宋徽宗是想借此向金国传递政治信息。通过这道诏书，宋徽宗至少传达出了这样几点信息：第一，大宋收复燕云地区，仅仅是为完成一种历史使命；第二，除了收复燕云地区外，大宋对其他地区没有兴趣；第三，大宋希望从此与邻国保持和平友好关系。
宋徽宗的这番政治用意，在金国似乎并没产生什么反应，也没发现有任何回应。也许是因为当时金国上下都很繁忙，没有人注意到宋徽宗的这份诏书。或者是有人看到了，但毫无深入解读的兴趣，因为此时金人对宋徽宗已很不信任。然而可悲的是，宋徽宗对此并不知道。
谭稹被撤职后，作为谭稹的举荐人与政治后台，王黼感到压力越来越大。虽然他名义上仍然是太傅，仍然为三高官官，但实际上宋徽宗对他已日渐冷淡，许多事情已不让他插手，这让他每天惶恐不安。紧接着，宋徽宗开始对朝廷高层人事进行调整。
宣和六年九月，宋徽宗提拔白时中担任特进、太宰兼门下侍郞即右相，提拔李邦彦担任少宰兼中书侍郎即左相。不久，又任命赵野为尚书左丞、翰林学士承旨宇文粹中为尚书右丞、开封府尹蔡懋同知枢密院。这些人，加上领枢密院事的蔡攸，一起构成当时宋朝政府高层决策团队。