聂元梓1959年冬与第一任丈夫吴宏毅离婚,第一次婚姻持续15年,育有3个子女(吴宏毅1968年死于心脏病发)。1966年1月与中共中央监察委员会常委吴溉之结婚,婚姻维续不到银樱一年。
1938年1月,17岁的聂元梓加入了中国共产锋配丛党。后来,她到了延安,在那里学习工作期间认识了青年干部吴宏毅,两人于1945年结婚。结婚不久,两人便调去齐齐哈尔工作。1947年12月,他们又一同来到哈尔滨。聂元梓在一个区做宣传部长,吴宏毅先是任一家报社社长,后来又当上了哈尔滨的副市长。那时,哈尔滨刚解放,聂元梓和丈夫都很努力地工作,当时,他们已有一个女儿和一个儿子,家庭也算幸福。吴宏毅很聪明能干,是有名的笔杆子。但是,随着环境地位的变化,吴宏毅的思想也发生变化,生活作风变得不检点起来,和一些女人关系暧昧。聂元梓虽然很不满意,为此与吴宏毅多次吵架,为了家庭的完整,开始时她还忍着。有段时间,吴宏毅身体不好在北京治疗,聂元梓便放下手中的工作,经常到北京来陪伴吴宏毅。尽管聂元梓想尽量维持自己和吴宏毅的感情,但却事卖丛与愿违,吴宏毅非但不听劝阻,而是继续与其他女人保持关系,受到严厉的组织纪律处分。聂元梓和丈夫的感情再也维持不下去了,1959年冬,聂元梓与吴宏毅离婚。吴宏毅于1968年心脏病发作去世。
1965年夏天,已调回北京的聂元梓在一老战友家认识了丧偶的老红军吴溉之,他当时是副部级干部。当年冬天,两人成婚。婚后半年,“文革”开始了。不久,吴溉之受到一起政治事件的牵连。这时康生对聂元梓说,你必须与他(指吴)离婚。聂元梓在经过痛苦的思考后,与第二个丈夫吴溉之办理了离婚手续。