林家的远祖是扶桑派第二代祖师牟沧浪的弟子，保存有本门三篇残缺不全的拳经剑谱，世代相传，到了林无双的父亲林北锋这一代，因为在扶桑本土难于立足，举家迁至一个荒岛，经过几年，渐渐聚集了几十户渔民，共同开发这个荒岛，种田的种田，打鱼的打鱼，把这个荒岛变成了一个丰衣足食的渔村，日子倒也过得不错，林北溪给这荒岛取名为“飞鱼岛”，由于打退了几次海盗的进攻，飞鱼岛主林北滨的大名也就开始传播海外了。
其时宗神龙正以一派宗师自居，纵横海上，罕遇敌手，名头甚为响亮。有一个被林北溟打败的海盗就跑去求他，饵以重利，央他报仇。宗神龙既贪财、又要名，他恐怕别人说他惹不起飞鱼岛主，是以终于给那海盗头子说动，答应了下来。
但宗神龙也是个老奸巨滑之辈，他到了飞鱼岛上，只说是为了募名而来，想与飞鱼岛主试个三招两式，彼此印证武功。绝不提是替人助拳、代友报仇。这样，胜了则可以向那海盗头子邀功索酬，输了也可以保全自己的体面。
他们一交上手，立即便知是本派中人，结果三十招未到，宗神龙就输了招了，宗神龙灵机一动，输了之后，马上口称“师兄”，编出了一套说辞，说是他早就思疑飞鱼岛主林北溟乃是同门，这才特地来找他比试的。飞鱼岛主信以为真，哈哈大笑，竟然与他平辈论交，认作师弟。而且不惜将自己对本门武学的心得指点于他，令他得到了不少益处。
林北溟与宗神龙“印证”武功的时候，林无双也是在场观看的。但当时林无双只是个未满十岁的女孩，是以她一见面就认得宗神龙，宗神龙却不认识她。
此际，林无双露出了衣上的飞鱼标记，宗神龙当然知道她是谁了。
宗神龙知道了林无双的身份之后，不觉心中微凛，勉强打了个哈哈，说道：“原来是无双侄女，长得这么高了，叔叔都认不得你啦！嗯，听说令尊也来了中原，可惜我不知道你们住在哪里，未能前往拜访。”
林无双淡淡说道：“爹爹早已闭门封刀，不敢有劳叔叔的大驾。”
宗神龙听了这话，不禁又是为之一喜，想道：“只要林北溟这老头儿没来，我又何须害怕这个丫头？”原来他刚才假意问候林无双的父亲，就是想听她的口风的。她的父亲既然是早已闭门封刀，当然是不会再出来多管闲事的了。
不过他也只是放下了心上的“一块”石头而已，并非就可完全解除顾虑，假如林无双和宋腾霄联手对付他的话，他还是没有取胜的把握的。
宗神龙有所顾忌，不敢放肆，当下又打了个哈哈，按剑说道：“这真是大水冲倒了龙王庙，自家人认不得自家人了。无双侄女，恕我唐突问你一句，这姓宋的是你的什么人，你要帮他和我作对？”
林无双道：“我和宋大侠是刚刚相识的。”
宗神龙道：“既然如此，何以你的胳膊反而向外弯呢？不看僧面看佛面，好歹我也总是你的本门长辈呀！”
林无双道：“宗叔叔，你这话说对了一半！”
宗神龙怔一怔，说道：“你这是什么意思？”
林无双缓缓说道：“不错，你和我的爹爹相识，年纪又比我大得多，我是应该尊你一声长辈的。不过，你却不是我本门的长辈！”
宗神龙变了面色，亢声说道：“什么，你竟敢目中无人，连本门的长辈都不认了？你的爹爹也曾与我平辈论交，叫过我做师弟呢！你敢说我不是扶桑派的么？”
林无双冷冷说道：“以前是的，但现在早已不是了。宗叔叔，你刚才责备我和你作对，我现在就坦白的告诉你吧，我一点也没有意思和你作对，只是不愿意让外人冒用扶桑派的名头！”
宗神龙暴跳如雷，喝道：“你、你好大胆！扶桑派辈份最老的就是你的爹爹和我，你竟敢说我是冒用扶桑派的名头？”
林无双神色自如，说道：“辈份再高，也得遵从掌门人的处分，牟掌门不是早已把你逐出本派门墙了么？这消息是金大侠告诉我的，难道有假？”
原来扶桑派的掌门人牟宗涛因为宗神龙利欲熏心，甘为清廷所用，是以在三年前就已宣布将他逐出本派门墙的。当时宗神龙曾经和他恶斗一场，不敌而败，对他的处分，只好接受。金逐流是当时在场的证人之一。