想當年，他與髮妻徐氏琢玉山盟海誓，鶼鰈情深。只可惜琢玉體弱多病，雖然用過靈藥無數，卻總不見好轉。以致二人結髮多年，也才有了婉媚這一個孩子，愛若珠寶。

但他當時其實特別著急，想著蘇氏一脈人丁單薄，通共只剩了自己一人，這才會無依無靠，成了徐老爺子的上門女婿。雖然徐老爺子待他如子，而且破例允許他單立門戶，生的三個女兒也都姓蘇，但這一段往事，仍然是他最忌諱提及的經歷。

徐老爺子過世以後，琢玉為父守孝，很長一段時間都鬱鬱寡歡，不肯與他同房。他心中鬱悶，偶爾也會在外流連。

很偶然的一次機會，他看上了小家碧玉的潘憐兒。二人一來二去便偷吃了禁果，他當時後悔不迭，卻也不敢聲張，任是潘憐兒哭鬧不休，他只是不肯報予琢玉知道。

但是琢玉心思玲瓏，沒過多久還是聽到了風聲。她傷心到了極處，反而表現得冷淡而鎮定，根本沒有同他商量，便一頂轎子將懷孕三個月的潘憐兒從側門抬進了府裡，喚作二姨娘。

同一時間，她又撥了自己身邊最漂亮的兩個一等丫鬟，珊瑚和珍珠，塞到他床上，抬舉做了三姨娘和四姨娘！

他當時嚇得跟什麼似的，錯也認了，罪也請了，但琢玉就是不肯看他一眼！他耐著性子，整整一年沒有碰過任何女人，包括潘憐兒和珊瑚、珍珠。琢玉認識到他的誠意，這才勉強原諒了他。

後來他們便有了第二個孩子，還是個男孩，起了個名字叫做蘇若瑾。他那時欣喜若狂，可惜那孩子沒福，幾個月上卻夭折了！

那件事後，琢玉大受打擊，雖然強打著精神，身子卻一天差過一天，為了子嗣之事，有時還主動把他往幾個姨娘房裡趕，他不想去都不行……

沒過幾年，她便當真丟下他和婉媚，撒手人寰去了。他自是傷心欲絕，將她所住的“司玉閣”改動了一個字，喚作了“思玉閣”，還不時前去緬懷。可惜陰陽兩隔，伊人無跡，哪裡還能再覓芳蹤？

而且，活著的人，該過的日子還是要過。蘇園說大不大，說小不小，總得要個女主人在內打理吧？他於是將連生了兩個女兒的潘憐兒扶為繼室，做了二夫人。

但他心裡又放不下琢玉，便時常去三姨娘珊瑚和四姨娘珍珠房裡走動，果然沒多久，她們便雙雙有了身孕！

可是，也不知前世造了哪門子孽，這兩個胎兒也都沒能保住！

他也是在商場上打過滾的人，出了這樣的事，還能不多留一個心眼？也曾明裡暗裡警告過潘憐兒，甚至還打殺了她的幾個心腹丫鬟，但因為沒有直接的證據，卻也奈何不了她本人！

再說還有婉嫣和婉嬌兩個姑娘。她們到底是他親生骨肉，不僅生得粉雕玉琢，性子也十分乖巧，成天在他身邊轉來轉去，甜甜叫喚。

自從琢玉過世以後，大女兒婉媚就一直悶悶不樂，比起她來，婉嫣和婉嬌這兩個小女兒自然更為討喜。他看在這兩個孩子的份上，對潘憐兒的一些做法，也就睜一隻眼閉一隻眼去了！

也許真的是他過於縱容，有一次他出外押貨，回來後才聽說，珊瑚和珍珠因為盜竊、投毒等罪名，被潘憐兒雙雙拿住，下了監牢！

他知道其中大有蹊蹺，趕緊翻案追查，可惜還不等他查出個結果，珍珠已是為了自證清白，一頭撞死在獄中！他只來得及將珊瑚救出，可她也已心灰意冷，說什麼也不願回到蘇園，他只得給了她一筆錢，派人護送她投了一門遠親……

唉，想他蘇永賀叱吒商場，偏生家中經營十幾年，卻還是抱不來一個兒子！

他咬咬牙，一發狠娶了一房五姨娘！此女姿色平凡，同樣出身小戶，他也從不專寵，料想不至於遭人妒恨，誰料不足兩年，她竟被人當場捉姦！事已至此，他也別無選擇，不管她是否遭人誣陷，總之他戴不起這頂綠帽，於是只得一紙休書，將她休回孃家！

那以後，他幾乎相信了自己命中無子，漸漸便有些放浪形骸，頻繁出入於煙花柳巷。

也就是在那個時候，他迷上了婀娜多姿、性情爽朗的歌妓柳依依。在她身邊，他好像重新煥發了青春！他控制不住自己的熱情，將她娶回家中做了第六房姨娘，居住在園中最美的絳雲樓上！

同時，他還從以前的多次失敗中吸取教訓，為了保證柳依依的安全，不僅撥了忠心耿耿、精明強幹的管事媽媽李德福家的前去照顧，還特意允許柳依依專事休息，平時不必出門去給二夫人潘氏請安！

他知道家裡人都看不慣他的做法，可是為了蘇家的家業後繼