就像出发前所预料的，渊盖苏文仍然是原来的强硬态度，拒不从新罗退兵，袁天纲这次出使必然是无功而返。圣上交付袁天纲“明”的出使任务没有完成，但他悄悄地执行圣上交付“暗”的任务。在高丽一呆十数天一事无成后，他分别与渊盖苏文、高藏辞别后，准备启程回大唐。
在回来的路上，袁天纲为了侦察其“山川风俗”，有意放慢脚步，先以丝绸绫绮贿赂高丽当地官员，诡称道：
“我喜爱高丽的山山水水，这里如果有好玩的景点，请带我去游览一番。”
于是，高丽沿途各地官员便甘为向导，带其游历，袁天纲趁机把沿途的山川形势都一一侦查，夜间悄悄地记录下来，并绘制一幅高丽舆图。
袁天纲所到之处，遇到了很多因隋炀帝征高丽失败而被俘虏、留居高丽的隋朝老兵，即向这些老兵讲述了大唐国内的变化及其在大唐亲戚的相关消息。临别之时，老兵们都纷纷来送别，望着袁天纲他们痛哭流涕，遍于郊野。
经过一个多月的沿途侦察，袁天纲他们在距离建安城还有三百里路程时，袁天纲就将一个小帛书放进飞鸽的腿部小管内，放飞鸽子去给营州都督张俭报信。
五月一日巳时，袁天纲一行到了建安城，高建佑一见到袁天纲这个财神爷，比先前可热情多了，把他请进金殿山指挥部，两人坐在一起喝酒吃肉起来。
就在袁天纲与高建佑在一起喝酒吃肉的时候，他不知道的是危险就要来临。原来袁天纲一行从平壤回大唐的路上，他的一举一动都在渊盖苏文的注视下。当袁天纲在沿途游山玩水时，斥候回去向渊盖苏文汇报袁天纲他们的行踪。渊盖苏文当听到袁天纲一行游山玩水时，不以为然地笑道：
“早就听闻大唐官员喜欢吃喝玩乐，他们这次难得出使高丽，借机公款旅游。不管他们，就随他们的便吧。”
过了一些日子，又陆续有斥候来报，说袁天纲一行遇到隋朝老兵，这些老兵们在他们离别时纷纷相送，还痛哭流涕的。
渊盖苏文听罢不由地一笑：“让这些大唐使者看到这些隋朝老兵目前的惨状，他们就心里清楚，当年隋炀帝三征我高丽都惨遭失败，如果大唐敢侵扰高丽，就是重蹈覆辙。”
就当斥候回来汇报，看到一个奇怪现象：袁天纲在游玩时，还放鸽子玩。
渊盖苏文一听，大为震惊！他大呼道：
“快抓住大唐使者，他们这次来是做间谍的，不能让他们回到大唐！”
于是，他马上安排人以三百里加急快马去追赶袁天纲一行。
建安城这边，袁天纲还在与守将高建佑开怀畅饮。高建佑一边喝酒一边问道：
“袁尊使，这次去平壤有何趣闻？讲来听听。”
趁着两人喝得酣畅，袁天纲趁着醉意，向高建佑问道：
“我这次去平壤，在平壤的街巷中听到有一些孩童在传唱一个童谣。”