行不数步，神雕回过头来，突然伸出左翅在马腹上一拍。那马吃痛，大声嘶叫，倒退几步，不住跳跃。杨过点头道：“是了，我既到雕兄谷中，也不必再出去了，要这马何用？”心想此雕大具灵性，实不逊于人，于是松手放开缰绳，大踏步跟随神雕之后，他重伤之余，体力衰弱，行不多时便坐下休息，神雕也就停步等候。
如此边行边歇，过了一个多时辰，又来到剑魔独孤求败埋骨处的石洞。
杨过见了那个石坟，不禁大是感慨，心想这位前辈奇人纵横当时，并世无敌，自是武功神妙莫测，瞧他这般行迳，定是恃才傲物，与常人落落难合，到头来在这荒谷中寂然而终，武林之中既没流传他的名声事迹，又没遗下拳经剑谱、门人弟子，以传他的绝世武功，这人的身世也真可惊可羡，却又可哀可伤。只可惜神雕虽灵，终是不能言语，否则也可述说他的生平一二。
他在石洞中呆呆出神，神雕已从外衔了两只山兔回来。杨过生火炙了，饱餐一顿。
如此过了多日，伤口渐渐愈合，身子也日就康复，每当念及小龙女，胸口虽仍疼痛，但已远不如先前那么难熬难忍。他本性好动，长日在荒谷中与神雕为伴，不禁寂寞无聊起来。
一日，杨过回眼看着右臂断折之处，想起郭芙截臂之恨，不禁热血涌上胸间，心道：“这丫头自恃父亲是当代大侠，母亲是丐帮帮主，自来不把我放在眼□，自小我寄居她家，不知受了她多少白眼，多少折辱？我谎言欺骗武氏兄弟，其实也是为了她好，倘若武氏兄弟中有一人为她而死，岂非也是她的罪过？哼哼，她乘我重病之际斩我一臂，此仇不报，非丈夫也！”
他向来极重恩怨，胸襟殊不宽宏，当日手臂初断，躲在这荒谷中疗伤，那是无可奈何，此刻臂伤已愈，报仇雪恨之念再也难以抑制。
当下心念已决，连夜回到山洞，向神雕说道：“雕兄，你的大恩大德，终究报答不了，小弟在江湖上尚有几桩恩怨未了，暂且分别，日后再来相伴。”说着深深一揖，又向独孤求败的石冢拜了几拜，掉首出谷。那神雕直送至谷口，一人一雕搂抱亲热了一阵，这才依依而别。当即施展轻功，直奔襄阳。
到得城外，天色未晚，忽见一美貌少女匆匆骑马进城，马上少女唇若涂朱，眉如染黛，正是郭芙。杨过乍见之下，心中不知是怨是恨，呆在原地愣了良久，心中才恨恨地想：“好啊，我在路边立着，都不肯看一样，果然认为我死了，再回不来了！”当下便施展轻功，到了郭府门外，悄悄越墙而进。
路过花园，望见郭芙抱膝坐在花丛边的太湖石上，一言不发地看着天上的月亮。杨过忙躲在树后，心道：“老天开眼，你一个人落了单，再无人能护你，我现下上前也斩去你一臂。”转念一想：她此时虽是一个人，但郭靖黄蓉尚在府里，自己若贸然出手，即便自己报了仇，也难以全身而退。
举棋不定时，见一个小丫鬟快步走到郭芙跟前，说道：“大小姐，老爷让你先回房去……”郭芙只不理，问道：“我爹还不肯见我么？”小丫鬟回道：“老爷说，想见大小姐时自然会见……”余下的几个字渐渐不可闻。见郭芙仍然不动，丫鬟又道：“已打过二更啦，大小姐请安睡吧！”郭芙哼了一声，道：“我睡的着时自然会睡，你走吧。”丫鬟应是而去。
杨过心道：“这大小姐果然刁蛮，她爹不肯见她，拿丫鬟出什么气。”耳内又听得郭芙幽幽的一声长叹，眼见她低垂着头，月光下，一颗晶莹的泪珠闪过，滴在郭芙的手上。杨过不禁有些慌张，暗中揣测：“你哭什么，你断我一臂，难道还受了委屈不成？”又猜到：“难道她是觉得对我不住，所以才难过落泪？”想到这里，心砰砰直跳，随即又记起襄阳城外之事，否定自己：“这大小姐平时就眼高于顶，现下我成了断臂怪人，她更加不把我放在眼里了，她多半是在想她的妹妹，再不然就是会奉承她的武家兄弟！杨过呀杨过，你与这丫头有断臂之仇，怎可自作多情，可怜可笑！”念头至此，心中恨意陡升：“我大声叫嚷，将郭伯伯叫来。我先将他打败，再处置他女儿。便是败给郭伯伯，男儿汉光明磊落，再也无人能笑话我一句。”心中热血潮涌，正要从树后转出，忽见郭芙起身，盈盈往郭靖夫妇居室而去，杨过忙随后跟上。