次日天明，张三丰携同周芷若，与常遇春、张无忌分手。张无忌自父母死后，视张三丰如亲祖父一般，见他忽然离去，不由得泪如泉涌。张三丰温言道：“无忌，你病好之后，常大哥便带你回武当山，乖孩子，分别数月，不用悲伤。”张无忌手足动弹不得，眼泪仍是不断的流将下来。
周芷若回上船去，从怀中取出一块小手帕，替他抹去了眼泪，对他微微一笑，将手帕塞在他衣襟之中，这才回到岸上。张无忌目送太师父带同周芷若西去，只见周芷若不断回头扬手，直走到一排杨柳背后，这才不见。他霎时间只觉孤单凄凉，难过无比，忍不住又哭了起来。
常遇春皱眉道：“张兄弟，你今年几岁？”张无忌哽咽道：“十二岁。”常遇春道：“好啊，十二岁的人，又不是小孩子了，哭哭啼啼的，不怕丑么？我在十二岁上，已不知挨过几百顿好打，从来不作兴流过半滴眼泪。男子汉大丈夫，只流鲜血不流眼泪。你再妞儿般的哭个不停，我可要拔拳打你了。”张无忌道：“我是舍不得太师父才哭，人家打我，我才不哭呢。你敢打我便打好了，你今日打我一拳，他日我打还你十拳。”常遇春一愕，哈哈大笑，说道：“好兄弟，好兄弟，这才是有骨气的男子汉。你这么厉害，我是不敢打你的。”张无忌道：“我动也不会动，你为甚么不敢打？”常遇春笑道：“我今日打了你，他日你跟着你太师父学好了武功，这武当派的神拳，我可挨得起十拳么？”张无忌波的一声，笑了出来，觉得这个常大哥虽然相貌凶恶，倒也不是坏人。
当下常遇春雇了一艘江船，直放汉口，到了汉口后另换长江江船，沿江东下。那蝶谷医仙胡青牛所隐居的蝴蝶谷，是在皖北女山湖畔。长江自汉口到九江，流向东南，到九江后，便折向东北而入皖境。两年之前，张无忌曾乘船溯江北上，但其时有父母相伴，又有俞莲舟同行，旅途中何等快活，今日父母双亡，自己凄凄惶惶的随常遇春东下求医，其间苦乐，实在天壤之别。只是生怕常遇春发怒，心中虽然伤感，却也不敢流泪。其时身上张三丰所点的|岤道早已自行通解，寒毒发作时痛楚难当，他咬牙强忍，只咬得上下口唇伤痕斑斑，而且阴寒侵袭，日甚一日。到得集庆下游的瓜埠，常遇春舍舟起旱，雇了一辆大车，向北进发，数日间到了凤阳以东的明光。常遇春知道这位胡师伯不喜旁人得知他隐居的所在，待行到离女山湖畔的蝴蝶谷尚有二十余里地，便打发大车回去，将张无忌负在背上，大踏步而行。他只道这二十余里路转眼即至，岂知他身上中番僧的两记阴掌，内伤着实不轻，只走出里许，便全身筋骨酸痛，气喘吁吁的步履为艰。张无忌好生过意不去，道：“常大哥，让我自己走罢，你别累坏了身子。”常遇春焦躁起来，怒道：“我平时一口气走一百里路，也半点不累，难道那两个贼和尚打了我两掌，便叫我寸步难行？”他赌气加快脚步，奋力而行。但他内伤本就沉重，再这般心躁气浮的勉强用力，只走出数十丈，便觉四肢百骸的骨节都要散开一般，他兀自不服气，既不肯放下张无忌，也不肯坐下休息，一步步向前挨去。
这般走法，那就慢得紧了，行到天黑，尚未走得一半，而且山路崎岖，越来越是难走。挨到了一座树林之中，常遇春将张无忌