帶來這個消息的信使是從越州來的，攝政王趙構已經回到了陸地上，以越州為行在，暫時不回臨安。
原來建炎四年完顔兀術南下搜山檢海，完顔兀術占領臨安府後，即命斜卯阿裡和烏延蒲盧渾帶四千精騎，急馳明州，追捉攝政王一行。
這支金人的偏師經曆長途奔波，已成強弩之末。留守明州的是張俊。
張俊欲遣人硬探，無敢應者。有軍兵任存請行，俊壯之曰：汝果能得其實當與汝官。存拜謝而行不旋踵以手提二級而還，具得金人之虛實。
俊大喜遂瘳和兵之計亦會隐士劉相如勸統制劉寶與戰不勝。再命王進黨用邱橫迎敵用與橫皆被傷。楊沂中田師忠再戰又不勝。李寶繼進苦戰，李直率諸班直以舟師來助。劉洪道又率兵射其旁金人乃敗而稍退去。
完顔兀術派兵增援，張俊急忙撤離明州。
金軍雖占領明州，但處境日益困難。遙望東海，煙濤微茫，無攝政王府逃帆之影迹；回首西北，山水重沓，卻有嶽飛等虎旅之阻擊。密布的河湖，不利騎兵的縱橫馳騁；卑濕的地氣，又造成将士的水土不服。
完顔兀術終于決定撤兵。因劫掠的财物過多，如按來路直接北撤，陸運不便，于是金軍繞道大運灌，水陸并行，破秀州，陷平江府，占常州，準備自鎮江府（治丹徒，今江蘇鎮江市）渡江。當時浙西運河全程有六百四十一宋裡。
完顔兀術宣稱“搜山檢海已畢”，用以掩飾其軍事上的失利，又殘酷地進行焚戮，用以發洩其氣惱。
最先遭殃的是明州，州城裡的居民基本殺光，除東南角的幾所佛寺外，房屋也全部燒成灰燼。金軍又派兵四出，在整個州境搜剔殺掠，即使是人人迹罕至的深山窮谷，也罹其荼毒。
接着，金軍又在臨安府城縱火，連燒三天三夜，煙焰不絕。臨安府在南宋初幾經兵燹，戶口隻剩下十分之二、三。
在平江府，縱橫百餘裡的大火，五天方滅。
金軍的殺掠，加之官軍的騷擾，建炎四年夏季的瘟疫，平江府人民喪生者近五十萬，隻有十分之一、二的人口幸免于難。
此次金兵渡江，東路軍所蹂躏的面積比西路軍小，約為兩浙路的一半和江東路的一角，但這個地區卻是宋朝最豐膄的谷倉，是當時全世界最富庶的地區，飽受了如此酷烈的戰禍，非短時期所能恢複。
江南軍民面對金兵的兇暴行徑，也進行了奮勇的抵抗。
金軍攻打臨安府時，州治錢塘縣令朱跸率鄉兵二千，橫挑強敵。他身受重傷，仍然令士兵背負他後，仍然令部兵背負他，繼續指揮戰鬥，最終在天竺山英勇犧牲。弓手首領祝威和金勝率餘部據守葛嶺。他們在崎嘔的山路上，用泥土覆蓋編竹，佯裝通道，設下埋伏。金朝騎兵沖擊葛嶺時，一批又一批地踣仆，亂成一團。鄉兵們揮兵刃奮斫，使敵人橫屍山谷。狂怒的完顔兀術以大兵從南麓沖上葛嶺，因衆寡懸殊，祝威、金勝等壯烈戰殁。
在嚴州桐廬縣，錢峃、錢觷兄弟和方庚指揮民兵三千人，于牛頭山擊敗了金兵。
金軍進犯越州時，馀姚知縣李穎士招募幾千鄉兵，同把隘官陳彥一起禦敵。他們布列了很多旗幟，迷惑金軍，勝利地阻擊了一晝夜。
建炎四年秋天，完顔兀術的大軍撤離平江府時，宋軍統制陳思恭率領所部，邀擊泊船于吳江縣境太湖中的敵人後軍，也取得勝捷。
完顔兀術在江南屢遭挫折，氣焰收斂，他斷言江南氣候不宜，不利于金兵長期占領。在建炎四年年底，完顔兀術到達鎮江府，打算滿載擄獲品渡過大江，卻遭到韓世忠軍的攔擊。
金軍号稱十萬人，韓世忠所屬隻有八千餘人，欲與金軍陸戰，顯然力不從心。韓世忠命全軍登上戰艦，以水師迎戰陸軍，确是以己之長，攻敵之短。完顔兀術隻能用小船馳出運河，在金山一帶江面迎戰，屢次失敗，十分狼狽。他請求韓世忠放金軍過江，韓世忠卻提出他不能接受的條件：放回徽、欽二帝，歸還宋之故土。
但韓世忠的海艦尖底，吃水深，無法進入運河。走投無路的金軍退到黃天蕩企圖開掘一條河道入江，又遭韓世忠攔截。後有奸細獻策，金軍又另外掘通河道，得以将船隻經秦淮河，引入金陵城西的江面。
韓世忠軍還是溯江趕來邀擊。有人教完顔兀術乘無風之際，用小船向宋軍施放火箭。韓世忠軍原來準備水陸兩栖作戰，其航海巨艦還裝載馬匹、糧食、辎重、軍人家屬等，無風不能行駛，遭敵人攻擊後，韓世忠的巨艦一艘接一股着火，蔽江而退。
黃天蕩之戰前後相持四十日。韓世忠雖敗猶榮，此戰使完顔兀術等領悟了一個淺顯的軍事常識，在大江上往返，非同兒戲，甚至會有滅頂之災。
金陵府成為金軍在江南僅存的立足點，對于再下江南，吞滅宋朝，無疑有非常重要的軍事價值。當完顔兀術和韓世忠在江上相持之際，金陵府的金兵在城東北的鐘山、城南的雨花台構築大寨，開鑿了兩道護城河，并在山上挖洞，以供“避暑”之用。
金人“陸增城壘，水造戰船”，從采石矶渡江北去，繼而複返的隊伍，也絡繹不絕。韓世忠的戰敗，又使金人留駐金陵“避暑”的可能性增大了。
就是在這個時候，趙構浮海歸來了。攝政王以越州為“行在”。趙構将金陵府的金軍視為懸在自己頭頂上的利劍，但卻不敢主動進攻金兵。
就在這個當口，趙構攝政王府得知呼延庚被圍困在平陽，秦桧等人判斷，洛陽的完顔兀術未必有精力增援金陵。
他們為此調動了可以調動的全部兵力，任命張俊為浙西路、江東路制置使，“諸将并受節度”，全權負責收複金陵事宜。可是卑怯的張俊甯肯任人切齒唾罵，也不敢向金陵前進一步。
趙構想起了忠勇的嶽家軍。