林父娶了林家阿爹后确实安生了一段时间，不过林家阿爹命不好，去得太早了。在林家阿爹怀着孕的时候，林父耐不住寂寞，就又出去外面疯玩了。要是还是秦楼楚馆里那些还省心了，可他又勾搭上了一个城里的小寡夫，被迷得不分东南西北的。还死活要娶进来当平夫郎，家里当然不答应！这样那个寡夫郎不干了，就来林家大闹了一场，还说他也怀了林家的孩子，肯定要林家负责，并以平夫郎的礼娶他进门。林家阿爹被气得狠了，就早产了，生产的时候还是难产，林阿爹强行生下林正泽后就直接一口气没有上来，就去了。当时林家阿爷已经去世，林家阿么也病歪歪的，林家大伯因为生意上的事情出了远门。林家伯爹也不好插手小叔子的家事。林正泽的外公家是整个家都跟着到外地做官的舅舅家搬离了荣城，远水救不了近火，等接到信赶来已经是林阿爹的葬礼了。
外公、外阿么从小把林阿爹当小子养大，从来就很宠爱的，没有想到遇到个丈夫是个这种烂人，都气得够呛。就等到林家大伯回转的时候，把林阿爹的嫁妆全部列好单子保存到大伯手中，也让大伯帮着管，多挣点收益。家族产业里每年分给林父的红利也拿出30分在了林正泽名下，这样分好才同意林父娶寡夫郎为平夫郎，而且一辈子都不能抬正，永远尊林阿爹为大。生下的孩子虽然能称谪子，但是要比林正泽低一等。以后林父去世，他的遗产要让林正泽继承50，剩下的才能分给其他的儿子。
这样安排好后，林家阿么就提出孩子先由他养着，实在动不了再让大伯看顾着点！那个阿父实在是没有人放心让他养孩子，他因为正夫郎没有答应让他娶寡夫郎的事还恨着呢！而且连带着对林正泽也不待见！更不用说还从他手中把每年能拿到的钱分出去了。
小小的林正泽就在刚出生的时候就失去了阿爹，其实同时也算失去了阿父。就从小养在阿么跟前，作为林家第一个大小子，阿么是很喜欢他的，养得都很不错。但是阿么身体本来就不好，因为有着林正泽这个牵挂硬是多拖了几年，把林正泽养到5岁的时候就撒手人寰了。小正泽一下子就失去了主心骨。他从小就觉得奇怪：为什么大伯对堂哥哥他们那么好，自己家的阿父都不理他的，而且阿父对着继阿爹生的比他小几个月的弟弟就很好，会经常抱着他、牵着他，也会带着他玩，而他就只能眼含期待的看着。次数多了，他就会去问阿么，阿么就抱着他不停的,边哭边和他说他的阿爹是多爽朗、能干的一个人，和小子也差不了多少了，是你阿父眼神不好呐！负了你阿爹，让你从小就没有阿爹疼，阿父也越来越混账了，都不把你当儿子看呐！那个小妖精还因为你分了阿父的钱而处处想害你！那些本来全部都应该属于我们家小泽的呐！
小小的林正泽自从听阿么说了这些事后，就从来都不对那个阿父抱有期待了！每天都认真的陪着阿么，给他喂药、陪着说话。大伯也很喜欢他，在家的时候经常带着他和两个堂哥认字。大伯家没有生出小子，就是只有两个小哥儿。大伯爹是个很温柔的人，小正泽对阿爹的认识全部来自大伯爹。大伯爹因为没有生出小子来继承家业一直很内疚，想着给大伯找小郎，为了生小子也忍了。但是大伯坚决不同意，其实大伯夫夫非常恩爱，只是大伯爹额头上的印记有点暗淡，不算鲜艳，所以生育上有点困难，生了两胎都是哥儿，后面就再也没有动静了。就算这样大伯也不同意纳小，他非常爱自己的夫郎，不想让他伤心。
这样林正泽这个唯一的谪出男丁就显得很重要了。这也是大伯爹对他特别好，拿他当亲儿子看待的原因。
5岁阿么去世之后，在继阿爹眼皮子底下生存就变得艰难很多。就算大伯爹经常照顾也很有限。就这样，有一次大伯出远门回到家，准备抽查下小正泽的学习情况，才被告知已经有两三天没有看到他了。小弟夫夫的说法是得了能传染的病，怕过了病气给家里其他人所以就让他在屋里养病了，大伯爹去探病都被拦在了门外。