然而，不久之后，随着一群新的西洋人的到来，却让路易的最后希望也化为了泡影——此时的荷兰人，也发现了亚洲所存在的商机，他们也把自己的商业触角伸到了日本，派出了大量商船来到日本通商。这些信奉新教的荷兰人只想着靠贸易挣钱，对传教根本没有多少热情，自然比西班牙人更讨幕府的欢心，于是幕府的将军最后下令要驱逐所有西班牙人，只同荷兰人经商——毫无疑问，路易自然也在驱逐之列。
不愿意离开的传教士们，煽动了日本天主教徒的叛乱，最后却被幕府军队严酷地镇压了，大量天主教民和传教士被杀。
路易有一次亲眼看到了日本人是怎样处决这些天主教徒的——在镇压了一次天主教徒的叛乱之后，幕府军队将一群天主教民带到了一片沙滩上，然后被迫穿上淋了油的蓑衣，接着被幕府军人点燃，着了火的教民哀嚎着不停地跳了起来，围观的幕府官兵却哈哈大笑，戏称这是在跳舞。
并没有参加煽动的路易被这种杀戮吓得心惊胆战，最后只得带着自己这几年间攒起来的一点财产，乘坐一艘日本人的商船恋恋不舍地离开了长崎港，打算回到菲律宾去寻找新的机会。
直到商船碰到了台风之后，路易才发现自己的厄运并没有走到尽头。在强烈的台风中，他所乘坐的商船被风暴撕扯成了碎片，他落入到了水中，差点直接淹死，所以他的老仆人抓住一块木质甲板的碎片，然后扯住了他，才没有让他被大海直接吞没，两个人就在无边无际的海中漂流着，寻找着渺茫的生存机会。
整整两天后，又饥又渴的路易已经开始忍不住喝起海水时，他的眼前终于出现了一艘船，仔细观察了一下之后，他发现这不是幻觉，而是真的船。他和仆人连忙鼓起最后的力气大声叫喊了起来，希望船上的人发发善心来救命，当船上的人终于发现了路易，并且开始转舵往他这边驶来的时候，巨大的狂喜将路易整个人都吞没了。
终于得救了，带着劫后余生的喜悦，他昏迷了过去。
*************
“..大哥不知道，这等传教的佛郎机人实话不多，总喜欢把自己说得无所不能，来诓骗别人入会信教，在咱们大明久了，受礼法浸染，这才明白些规矩，小弟救上来的这位鲁某，询问之下也是口出大言，可江南这等人实在太多，不怎么稀罕，小弟就问的细了些..”
有道是外来的和尚会念经，又有个说法是物以稀为贵，不过大家在蒙元时候见多了色目人，西洋过来的传教士来到后也被认为是差不多的货色，从一开始就糊弄不了太多人，他们拿过来的那些西洋货物也就是被人当做稀罕的巧物玩意，却没人怎么重视。
在这样的心态下，来自法国的路易开始很是尴尬，他按照自己在吕宋和倭国的习惯，先把自己吹嘘的无比高贵，少不得加了公爵侯爵的爵位，又有红衣主教的身份，但这些却被余家请来的通译不屑的戳穿，见多了这样的花样，根本不会上当。
好在路易这些年经历的挫折太多了，对这些许的尴尬根本不以为意，他从对方的询问中分析出了结论，对方似乎很急切的想知道自己懂什么技能，路易下意识的感觉到这是个机会，他开始陈述自己的技能，哲学、艺术、金融、航海甚至是机械，这些他或者懂或者可以让别人以为他懂的技艺，一个个说了出来。
任他说得天花乱坠，或许那通译词汇不够丰富，跟着通译一起来的那个年轻人始终阴沉着脸，善于察言观色的路易也知道，自己刚才说得那些没有打动对方，路易表面上镇定，心里却有些着急，被救到这里来的时候，路易已经观察了周围，这样繁华的城市超过了他在倭国见到的任何一个，而这家的豪富也超过了他在倭国见到的豪商和大名，这里一定是大明的都城附近，救下自己的人一定是大明的什么贵族，至于在船上的水手说大明的都城在北方什么的，这年头水手的话根本不能全信..
对方肯定需要些什么，路易告诉自己一定要抓住机会，但对方到底要什么实在是弄不清，不知道怎么，话题就到了火器上面，对这个路易的确懂一点，毕竟在尼德兰，在美洲，用到火绳枪的地方实在是太多了，路易没觉得这是一门技能，用的人实在是太多太滥，就连倭国也有使用。
当对方追问火铳的时候，路易尽管觉得奇怪，可还是知道关键了，他和自己的老仆人交谈几句，然后又向对方要来了纸笔，当然那种毛笔他根本不会使用，只能让对方取来木炭，自己用刀削出勉强能用的炭条，磕磕绊绊的在纸上画了一幅素描。
素描写生也是神学院的课程之一，而且这种写实的画法对教士传教有很大帮助，所以教学双方都很认真。
路易速写出的那幅图是一个士兵拿着重型火绳枪射击，用木叉架着火绳枪，动作很是标准，不管是士兵还是火绳枪，也都很逼真，跟着的仆人却看出了画面上很多处不太对的细节，他当然不会指出来，路易还记得这幅图的出处，这是尼德兰战争时候，从尼德兰士兵身上缴获的一本图册，据说莫里斯亲王把火绳枪射击的每一动作都画成图，让士兵们照着去做。
这幅不标准的图起了决定性的作用，余家在海面上也是有些年头了，和佛郎机人也是打过交道，也见过佛郎机的火器，这个图上描绘的正是那种，而且路易还让自己的仆人做了个射击的姿势，尽管仆人的右手已经不太好用，尽管只是拿着一根木棍比划，可还是很标准的架势。