宋军开城出战，还没打上几个回合，契丹军便撤退了。
等到宋军回城吃饭的时候，契丹军又杀回来，宋军放下碗筷准备出战，契丹军又跑了，来来回回几天的骚扰，让宋军苦不堪言。
一到晚上，耶律休哥便派人潜伏在悬谷，要么吹哨，要么打鼓，等到宋军杀出来，却又看不到一个人。
宋军白天黑夜被契丹军骚扰，白天不能安心吃饭，晚上不能安心睡觉。
无奈，宋军只好列成方阵，缓慢前进。
偏偏天公不作美，那个时候才五月，天气竟然像盛夏一样酷热难耐。
烈日当空照，将士们汗流浃背，非常口渴，沿途又没有水井泉水，只有沼泽里又脏又臭的水。大家渴得无法忍耐，也不管水干不干净了，冲上去就是一顿豪饮。
过了四五天，宋军终于回到了涿州。
刚刚安顿下来，就有探子来报，说耶律休哥已经率军前来。
曹彬连忙下令各军列阵迎敌。
不久，又有探子来报：“契丹萧太后和少主耶律隆绪带领国内全部精锐前来接应。
”这个消息一传出，宋军将士全都惊慌失措。
曹彬跟米信商量说：“我军将士这些天酷暑赶路，吃不好睡不稳，已经非常疲惫了。现在粮草也快吃完了，怎么可能抵挡得住这大敌呢？不如识相点撤军吧！”米信说道：“行军打仗的秘诀就是知难而退，既然敌我实力差距那么大，那将军还犹豫什么呢？”曹彬听后，立即下令撤军。将令一下，宋军全营兵马一哄向南飞奔。曹彬被世人称为当世良将，但是这回突然下令前进，又突然下令撤退，一点主意都没有，真让人不解。
耶律休哥听说宋军退兵，马上下令追击，在岐沟关追上了宋军。
然而宋军却无心恋战，勉强列阵跟契丹军交战了几个回合。
两军对垒，最重要的就是士气，宋军士气消沉，困顿饥饿，而耶律休哥的部下本来就强壮得很，又养精蓄锐了那么久，这回盛气杀来，宋军如何支撑得住？
不到几个回合，宋军就四处溃逃了。
曹彬、米信阻止不住，只好也随溃逃的大军一起退逃。
宋军好不容易逃到沙河，觉得追兵已经被甩远了，于是在河边休息埋锅做饭，准备晚餐。