吴廉回到烟雨绣楼，凝视着那幅曾被失去却又重新拥有的落梅图，思绪不禁飘向远方。那段岁月曾给予他深刻难忘的回忆。小时候，吴廉常常被父母的争吵所困扰，他总是喜欢和姨娘陈映雪呆在一起，看她刺绣，听她歌唱，与她一同度过漫长的时光。然而，并非每次他都能逃离父母的争吵。每当这种时候，父母总是互相指责，互不服气。而吴廉就像是他们之间的"桑树"，被夹在中间，左右为难，无处解脱。

于是，在父母争吵激烈，无暇顾及他时，吴廉就会悄悄溜出去找陈映雪，只有在她那里才能勉强吃上一口热乎的饭菜。陈映雪最爱绣梅花，她还送给吴廉两个绣有梅花的香囊。吴廉握着香囊，郑重地告诉陈映雪，从此梅花将成为他最喜欢的花。看着陈映雪的手指在绣布上穿针引线，幻化出美丽的图案，吴廉也想尝试一下。陈映雪耐心细致地教导他。某一天，吴廉陪着母亲到郊外的染坊查账。在嬷嬷外出时，他在染坊里闲逛，却似乎看到了一些不应该看到的事情。回到家后，父亲询问他当天的所见所闻。但吴廉却谎称自己一直在睡觉，而在染坊里待的时间并不长。

离开父亲的房间后，吴廉径直来到陈映雪的房间，自顾自地拿起绣布开始绣。当陈映雪回来时，他请求她教导自己。陈映雪担心吴廉因此事而受责备，劝说他好好用功读书。但是，一旦孩子下定决心，就会有一种莫名的坚持，吴廉也不例外。陈映雪无奈地叮嘱他，绝不能告诉父亲这件事。吴廉也很上进，绣工越来越出色。然而，不知有人是如何知道此事，带着家中的几个兄弟闯入他的房间，把他的绣布全部翻找出来，扔进院子里。很快，吴廉的父亲也获悉了此事。于是，吴廉跪在院子里，任由狠厉的鞭子抽打着他。不仅如此，吴廉的父亲还对陈映雪发泄怒火，将她狠狠地打骂一番，并禁止她离开院子。夜幕降临，吴廉在暗道里悄悄地来到陈映雪的院子，看着她脸上依稀可见的巴掌印，心中充满了愧疚。陈映雪轻轻地抚摸着吴廉的头，告诉他探望她已经是她的三生有幸。陈映雪即将前往郊外庄子，离开之前，她劝慰吴廉务必用功读书，将来更好地考取功名。

为了让姨娘准备更多的盘缠，吴廉一大早拿着自己的玉佩去了当铺。但当他回到院子时，陈映雪已经选择了以三尺白绫结束自己的生命。吴廉失魂落魄地回到陈映雪房间，一直呆坐到天亮。不知不觉，天空已经泛白。吴廉下定决心离家学习刺绣技艺，成为一名真正的绣艺大师。岁月如梭，烟雨绣楼终于建成了。烟雨绣楼渐渐闻名，得到了淮州城富绅章家的赏识。于是，吴廉与章榕儿成婚，成为了亲家。起初，吴廉对章榕儿照顾有加，回家时也恪守着儿婿的礼仪。然而，对于章榕儿的身体接触，他却感到厌恶，甚至嫌弃。吴廉突然提出要收徒，让章榕儿亲自去安排。章榕儿对此并未有所察觉，加之内心对吴廉有愧，就按他的吩咐招募了许多年轻女子。

当一群女子兴高采烈地走进来时，吴廉让陈嬷嬷准备了一块大绣布，准备绣一幅落梅图。然而，绣了许多年后，他渐渐觉得这幅图案有些不够大气。于是，他决定动用整个绣楼的力量，绣一幅让世人赞叹的烟雨绣。