望，这其中不仅包括一时的政策错误，而且也是宋人对幽云汉人的长期偏见导致的结果。
在军队中，归正人受排挤的现象更为严重。相反金朝对宋开战后，却在刘彦宗等汉人的指点下采取了正确的决策，“金人已得燕，则盐法尽仍旧，常胜军屋业田土，尽给前主，燕人归心焉。”两下相较，幽云汉人之心会归附于谁，已经是一看便知的事了。
南渡之后，历史上南北分裂造成的相互不信任和歧视现象不断更为严重，而一些偶发事件则加深了两者间的矛盾。而不信任感是长期存在于南宋朝廷之中的主流态度。包括朱熹，都直接把归正人与汉代时的宦官、唐代时的藩镇视为一类，认为这些人都是造成社会动乱的病根。因此，许多归正的文官多不被授实职，添差后就将他们分散地安置在各州郡中。
对“归正人”摇摆不定的政策，也引发大量归正人的不满，这种不满从孝宗朝开始发酵，到后来越发严重，南宋军队尤其是前线最具战斗力的部队中，由于归正人的比例逐年增加，使军队的管理出现隐患。一方面是这些北军饱受排挤，另一方面是南宋正军在数量上不占优势，使军队内部管理失控。这使得南宋不断的失去北地民心，不仅彻底断送了南宋北定中原的可能，也成为南宋灭