宗翰、宗望两路入汴实在种彦崧料中，但真正临事仍感为难，因为大宋边防溃败得太快了：河东方面肃州、武州、代州、忻州在半月间相继失守；在河北，真定、河间、中山诸府又同时告急。忠武军兵马不过数千人，竟不知援救哪一方才好！他连告急文书请示，但文书还没到两河宣抚使案前，童宣抚早已逃之夭夭了！种彦崧听说童贯临阵脱逃后愤懑异常，正在这时宗翰引兵迫太原，种彦崧不听林翼劝告，引轻骑袭金军偏师，战告捷，但宗翰得到消息后迅调兵回击，败种彦崧于白马山下。忠武军凝聚力与寻常宋军不同，虽败不溃，弃马退入山林之中，和林翼会合后凭山而守，重新整顿。
对于金军可能南下林翼的准备比任何大宋守臣都充分，他早将靠近平原的粮草物资转移到骑兵难以深入的山林之中，在商人的帮助下于太行山南北数百里建立了九座隐秘的仓库以应变。种彦崧被宗翰逼回以后，林翼劝他保全实力以待朝廷举兵，从此忠武军慢慢南移，靠着太行山游走，相机袭击金军的侧翼和后路。忠武军一旦游动起来，其民用生产便大受限制，由原来的产耗基本平衡变成进少出多，不过由于原先的积蓄丰厚，所以自给自足并无太大问题。
种彦崧自知兵力单薄，对这场战争难以起到