衍听了，很不以为然，对众位大臣说道：“这位达摩虽然出身天竺佛门故地，但是朕见此人说话疯癫，行事乖张，不合时宜，他要走就让他去吧！”
殿下多位重臣都高呼“万岁圣明”，只有一位年青的大臣劝阻道：“启奏陛下，这个达摩不能放走，如果他冒然离开，投靠北方的索虏拓跋鲜卑。这样一来会显得陛下没有容人的气量，二来我朝虚实尽被北朝掌握，如果陛下不喜欢这个达摩，臣建议宁可杀掉他，也不能让他流窜到北魏。”
梁武帝顿时悔悟，派出禁军一百余人前往长江边上阻击达摩，务必要生擒活捉他。
这时达摩祖师已步行到长江的南岸，见身后尘土飞扬，知道有追兵赶来。他环顾四周，见芦苇丛中有一位白发苍苍的老婆婆，正弯着身体收捆芦苇。
达摩急中生智，向老婆婆要了一捆芦苇，自己抱住芦苇，跳进江中，随南风漂流过江，这就是达摩祖师“一苇渡江”的故事。
再说达摩祖师过江以后，手持禅仗，信步而行，见山朝拜，遇寺坐禅，一日到了嵩山少林寺，他见这里群山环抱，森林茂密，山色秀丽，环境清幽，佛业兴旺，谈吐吻洽，心中感叹，这真是一块难得的佛门净土。于是达摩祖师决定在此出家建业。