柳嫤回了林家之后，第二日，城南那间布庄的林掌柜，就被撤下来了，改由林家大管家福伯的儿子，继任掌柜一职。福伯的儿子，那是个老实本分的中年人，之前一直在那处布庄，兢兢业业地做林掌柜的副手，若不是林掌柜的身份，对于林家来说有点特殊，这布庄掌柜的位子，早几年就该是他的了。
福伯父子两，在听了这道命令之后，便一同前往柳嫤的院里，给她磕了个头。柳嫤隔着一层珠帘，也见到这福伯儿子的面目，浓眉大眼还有方脸，看起来倒是个老实憨厚的。柳嫤相信这人会忠于林家，或者说她相信福伯的忠诚，也相信忠诚的福伯教导出来的人，对林家也是忠诚的。
这几间布庄的问题，也就算解决了一大部分了。柳嫤也吩咐了林淼，要他叫人多多注意这些布庄里，掌柜和伙计们的动态。对于像之前那般，有别的布庄老板，私下里接触林家掌柜的行为，她希望可以在第一时间便能够知晓，才不至于如此被动。
柳嫤和林淼说了许多，包括怎么安排那个被撤下的林掌柜等等。
林掌柜是林家的老人了，贸贸然撤下来，难免让人觉得林家容不下老臣，而继续让他在掌柜的位置上，柳嫤却是怎么也不肯的。所以林掌柜被派到了江城郊外的农庄，管理起平日里农田的种桑之事，当然是做一个小的管事。
林掌柜被撤走的真相，柳嫤并没有叫人宣扬出去，对外只称林掌柜年迈，希望告老还乡而已，对于这样的结果，林掌柜自己也是感激不尽，他也算没有晚节不保了。
在经过林家暗中的人手的大力勘察之后，柳嫤也是知晓了，为何这些掌柜会做出这样的事情来？这源头却还是出在林掌柜那边。
林掌柜儿子早逝，身边只有一个孙子，平日里是疼爱得很，而他这个孙子却因为他的溺爱长歪了。林掌柜的孙子今年十六，性好渔色，虽娶了一房美娇娘，却总是被外边的花花草草勾引住了。
在年前，林掌柜的孙子便迷上了春华楼的小桃红，这小桃红是春华楼的头牌，要见上一面都得纹银几十两的，更何况是过夜的女票资。
林掌柜的孙子没有那个钱来挥霍，便变卖了林掌柜和他父母留下的珍贵器物，换得不少银钱。之后，林掌柜的孙儿勉强和小桃红见了几面，这见了面之后，他更是对小桃红的一颦一笑魂牵梦绕，无奈囊中羞涩，这小桃红如何肯搭理他？
林掌柜的孙儿便每日守在春华楼的大门外，以期可以望见小桃红偶尔的凭栏眺望了。这日子久了，他那一房妻子便不满了，每日在他归家之后，都得冷嘲热讽一番，说些“既然那么想那个小桃红，干脆把人家从楼子里接回来得了！可惜，你不过就是癞蛤蟆想吃天鹅肉，臭钱都没有几个的窝囊废！”之类的话。
叫自家的婆娘一激怒，林掌柜的孙儿竟然将她打得鼻青脸肿，让她哭着跑回了娘家，之后，这女子叫来了娘家兄弟，将林掌柜的孙儿一通好打。被打的林掌柜孙儿感觉又是羞耻，又是愤怒，吵着闹着要休妻，却叫林掌柜好生呵斥了一顿，这也是唯一一次林掌柜对他发火。
林掌柜的孙儿自觉心灰意冷，只有春华楼的小桃红才那么善解人意、温柔可爱，叫几个日常玩耍的二流子一哄，便往赌馆赚女票资去了。本来赌馆的人，见林掌柜孙儿身上没有银钱，还不许他进去的，但当他说自己是林家布庄掌柜的孙子之后，这些打手便将他客客气气地请了进去，并提供了高利的借款给他。
十赌九输，更何况是林掌柜孙儿这样对此一窍不通的人，再加上赌馆的一些诓骗手段，他竟是欠下了足足有五千两的银子，还是利息二十分的高利借款。林掌柜的孙儿被扣押在赌馆出不去，接到报信的林掌柜急急忙忙地赶了去，却毫无办法。