丁承业在给人盖房子时不小心摔了下来，摔得半死，主家也是穷苦人，赔不了几个钱。为了给丁承业看病，潘氏几乎将家里能变卖的东西都变卖了。
可是，丁承业还是死了。
在那个时候，男人就是家里的天，是一个家的顶梁柱。丁承业死后，他与嫡妻的几个儿子，也就是芸娘的几位伯父便以丁来喜不是丁家的种为由，分走了丁承业所有的遗产，将潘氏母子赶了出去。
潘氏并没有离开越州，就在离家不远处的树林里搭了几间茅草屋住下来。她用自己开荒出来的地种上蔬菜，再以刺绣换取其他生活用品，艰辛地养大了儿子。
丁氏一族对丁来喜的身份一直持怀疑态度，但以前丁承业是承认这个儿子的，因此宗族的态度模棱两可。虽然很多人怀疑，却并未将丁来喜逐出宗族。
丁来喜家境不好，在族中又受人轻视，偏偏人才生得十分好，还识字，让丁氏一族同龄的族人很是嫉妒。于是，只要有人给丁来喜做媒，丁家就有人出面说丁来喜的坏话，坏掉他的婚事。因此，丁来喜一直娶不上媳妇儿。
如此，丁来喜直到年近三十去外地做工，这才娶了个媳妇回家，几年后才生下了芸娘。
因为家里多了人口，而潘氏的身体也越来越差，家里负担很重。于是，丁来喜只能外出做工，以养活自己的母亲和妻女。因为他经常几个月都不能回家一次，芸娘也一直没有弟弟妹妹出生。
就在芸娘四岁的时候，父母带着她出门，说是去外祖家，谁知就遇上了船难。
等芸娘被父亲的朋友送回老家，祖母潘氏差点哭瞎了双眼。可是，眼泪除了表示软弱，没有半点作用。为了养大芸娘，潘氏不得不坚强地站起来。
这个时候，村里有了谣言，说潘氏命不好，克夫克子。而后，潘氏的三个继子，芸娘的三位伯父就开始欺辱她们。经常潘氏好不容易用刺绣攒几个钱买回一点米或者肉，就被几个继子抢了，理由是：都怪你这个扫把星克死了我爹！
沈梦看得满心愤怒，然而潘氏却一直忍着，这一忍就是十多年，真的是历经千辛万苦才将芸娘抚养长大。
芸娘也是个能干懂事的姑娘，很小的时候就能帮着祖母做事，七八岁就能做刺绣贴补家用，十来岁就跟着人学打渔。但她们一直无法摆脱被三位伯父欺凌的境况，直到后来遇到燕老三，家里有了男人，还是个武艺高强的男人，这种情况才开始有了好转。
却也因为燕老三的强势，一怒之下差点将芸娘的堂兄打死，也让他们与丁氏宗族结下更深的仇怨。经过族长的族老的干涉，这件事情虽然最后解决了，却也告诫燕老三以后不许随便打人，如果不然就要将潘氏和丁来喜逐出丁氏一族。
燕老三是很想带着芸娘和祖母一起离开的，可是潘氏不肯。
沈梦知道，这个时代的人，宗族观念很重，而被逐出宗族，是非常严厉的惩罚，无论在什么地方都是被人看不起的。特别像潘氏这样的人，坚强了一辈子，如果年老反而被丈夫的宗族逐出去，她就是死了都不会安心的。
因为丁氏一族的支持，只要燕老三不在，家里就难免被抢劫。等燕老三回来再上门去将对方打一顿，将东西抢回来。打得几次，芸娘三位伯父才收敛了一些。
可去年燕老三带着芸娘回乡祭祖，大半年没回家，乡邻们便开始传燕老三不会回来了。于是，芸娘的三位伯父便带着自己的儿孙又去欺负潘氏。要不是燕老三回来及时，只怕老人家都要饿死在家里了。