回到谢家，婆婆谢夫人对她很是冷淡，她十分不解，做错事情的人是她的儿子，又不是她。谢家的内宅她已经完全插不进去手了，因为赵凌把内宅权全部掌握在手中，她不在乎这些权利，只是为儿子心急。
在家也没什么事情可做，读读书写字这都是她要的，但她最终的目的还是希望培养女子们读书。终于让她找到机会了，本来谢夫人不同意，但是她找来玉凤过来关说，这些年玉凤跟以前大不一样了，她施药救人，淡泊名利，名望很高。
很快女学就办成了，她沉浸其中，来读书的姑娘都是家里穷的，她们对于读书的机会很是珍惜，她也教的非常用心。
却没曾想女学不仅出事了，她自己也坐了一年牢，她从来没有想过自己会坐牢。她只是教那些孩子读书而已，明明这些都是张玉凤的诡计，却牵连到她。坐牢不仅仅是身体受罪，心理也难熬，她是谢家的大少奶奶，坐了牢出去在谢家还有什么地位。
牢里也难熬，平时最爱看书的她在这里丝毫看不进去，尽管谢家的人帮她打点了，但牢房就是牢房，怎么也比不得家里。
出狱了更是惨，回到家里她曾一度不敢出门，家里都是三房的天下了，她心灰意冷。此时，她公公谢相过世，春嬷嬷提醒她如果丈夫这次回来之后让她跟他和好，毕竟一夜夫妻百夜恩，俩人原本感情就很好，要不是
玉涵从中作梗也不会有这样的事情。
还好他没有带玉涵进门，她想这次就放下身段跟丈夫说和吧，家里没个男人还真不行。谢老三再怎么花心风流，他在那儿，赵凌就有底气。
可一切却真的回不去了，她做错什么了，却要受到这样的苦痛。
当她听到丈夫放弃继承谢家的时候，她终于忍不住了，她想他到底知不知道自己在说什么？他为了个女人连族长之位都不要了，她的君亚以后可怎么办？
可她说什么都无济于事，不但如此，谢夫人还开始亲自抚养自己的儿子。三年守孝，她和谢大的关系不仅没有缓和，反而更加紧张，之后他决定外放，她实在是不解。
“你想想君亚好吗？你不能这么自私，君亚他是你的亲生儿子呀。现在就让他仰人鼻息到什么时候？”
却听他道：“君亚我让娘带着，你不必操心。三弟也答应过要照顾他的，等他成年了就分家吧，我的那一份交给君亚的媳妇就成。”
他说的好听，谢夫人原本就偏心，她之前就喜欢赵凌生的君安，把君亚带在旁边，又怎么会让自家的君亚超过君安，就凭这个她也不会好好教啊。更别提三房的那对夫妻，赵凌霸道跋扈，三叔花心自大，他们又怎么会对自己的儿子郝。
她把这些告诉谢大的时候，他还是不置可否。
她冷笑道：“你就真的这么喜欢玉涵吗？喜欢到什么都不顾了？家
业不要就算了，连儿子也不要了，你到底有没有心呀？早知如此，当年你又何必帮我，若不是因为你我也不会到如此地步。”
如果当年谢大没有常常用帮她的手段接近自己，她早就跟着白夫子去做先生了，至少不用像现在在谢家仰人鼻息，丈夫还变心陪着外室。
谢大怪笑：“你是说这一切都是玉涵造成的？”
她撇嘴：“那怎么不是？”
“那我问你当年我去军户所的时候，你从来都没有来过，你从来都没有关心我这个做丈夫的。以前你从安平侯出来的时候，是谁让你无忧无虑的，你的嫁妆都是我准备的，我对你那样真心，可是我落魄了，你看都不愿意来看我一眼，你现在还跟我说这一切都是玉涵造成的，你亏不亏心？”谢大气急败坏。
她想这谢大也真有意思，你想跟玉涵在一起那就算了，还把错误推在她的身上。
她道：“去会宁府本来就是为了锻炼，我当初还有女学要办，如何能走的开？再者我如果不关心你，我又怎么会跟着你去那么远的地方。你不过是为自己另寻新欢当做借口罢了。”
“我从来不知道你的口才既然这么好，你爱怎么说就怎么说，反正家里我安排好了。”
看他想走，汪淑儿忽然没由来的一慌，她想万一他走了不再回来可怎么办？她忍不住流下眼泪：“你真的这么狠心，不管我也不管君亚了吗？”
“我不
是狠心，而是……”谢大却不说下文了。
她骂道：“你怎么不是狠心，你有想过我们孤儿寡母的处境没有，你在外面逍遥自在着，可我们呢？我被人诬陷坐牢，没一个人管我，你常常说让君亚考功名，可我有污点，她又如何能去考功名？”
功名一条必须要家世清白才有人愿意替你写保书，可她什么都没做，就坐了牢，谢大不闻不问就算了，还只顾自己潇洒。
他还狡辩：“我谢家世代清白，又是官宦世家，与旁人不一样，这说去说来还不是怪你。”