闲暇的时候，他仍然去看黄意章，也常常到商会会长雷清非家里去。
雷清非是米店学徒出身，不论是穿长衫的还是穿短衣的，他都平等看待，这让杨世会感到很放松。
此外，他仍与苏丙天很要好，在学校里经常与他在一起。
他想向黄意章说出自己的身世，犹豫了再三，他最后说，他有个亲戚当年在南京政府，接着就把自己的经历说了出来。
黄意章问他这个亲戚叫什么名字，他说是杨世会，抗战胜利的时候，听说他还在汉口汉阳，后来就没有消息了。
不明真相的黄意章，马上安慰他说：“这个你不用担心，这样的人，心智足以保全其身。”
听了黄意章的话，杨世会的心里面暗自窃喜。
而对于苏丙天，有好几次他都想说出来，但每次都是欲言又止。
有一次他问苏丙天：“白蛇娘娘只管对许仙说出自己的身世，那有什么不好，可是她却终究没有告诉许仙，是怕不被他谅解吗？
苏丙天一本正经地说道：“谅解当然是会谅解的，可是因为两个人的好是这样的贵重，连万一也不可以有的。”
杨世会听了，默然不语。
从此，他再也不敢在别人面前提起这件事了。
由田之光导演，根据石季婉的小说改编的电影《夫人至上》到温州放映时，杨世会与全校的教职工包下了一场，大家集体去看。
看了之后，大家一齐说好。
但杨世会却还不满足，向这个解释向那个解释，好像这个时候的石季婉还是属于他的一样。
在他的潜意识里，他觉得石季婉的电影也是他的电影，他也跟着沾了光一样。
孰不知两年前石季婉就已经与她断绝关系，与他没有任何的关系了。
由于战争的关系，当时的物价飞涨，同事家里连请人吃一顿便饭也请不起了，吸烟的人连一根火柴都要省着用。
一天下午，杨世会在孟明珠母亲的家里，独自一个人坐着，看着那破院子与室内简陋的桌子椅子凳子，不禁一阵心酸。
他在心里喊道：我不要世上这样的贫穷破落！为着石季婉的缘故，我要这世上是繁华的，贵气的！
他这样地想着，在椅子上一会儿站起来，一会儿又坐下去，好像要去干一番大事业，马上要去拯救天下，拯救全人类似的。
可惜，这些东西，他最多也只是想想而已，他没有那个能力，也没有那个机会了。
一九四九年的五月，温州全面解放。
暑假后，杨世会到温州的瓯海中学去教书。
期末考试完毕之后，准备放寒假的时候，学校的生活指导委员会开会，两个学生代表发言，决定下学期教职员的去留。
虽然杨世会平时自我感觉相当的良好，但是由于学生们对他的评价不高，所以学生代表当场就把他给罢免了。
他一时没有了主意，不知道今后要到哪里去才好。
他给施向东写了一封信，请施向东为他再找份教员的工作。
但此时各个中学都在忙着整改，都在肃清不良分子，像杨世会这种被学校解聘，而又来源不明的人，施向东也爱莫能助。
一九五零年初，杨世会看到他在这里实在是呆不下去了，便决定离开温州。
他到杭州的一家旅馆里歇脚时，孟明珠来看他。
当时蚕场还没有开始工作，孟明珠与崔太太又回到杭州来了。
杨世会去看崔太太，现在崔太太、孟明珠还有崔同文三个人租住在一个小院落里。
有个崔家的人刚从乡下回来，正在与崔太太说着话，一看到杨世会，马上就住了口。
杨世会心里也觉得有些不寒而栗，他很担心自己的身份已经暴露了。
但是崔太太只是笑了笑，他的心暂时放了下来。
杨世会告诉崔太太说，他这次是去BJ，应夏灿荣之邀，去做他的助手。
崔太太并没有表现出太大的惊异，还是按照平时规矩，对他以礼相待。
杨世会到上海后，住在当年的一个旧相识那里，崔同文也和他一起来了。
一回到上海，他马上就想到了石季婉。
虽然已经知道，她已经跟他断绝了关系，既然他这次去找石季婉，她未必会给他开门。
但是他依旧还是有些不死心，他想，当初他第一次去找石季婉的时候，石季婉不是也把他拒之门外了吗。
可是后来，石季婉不仅亲自来拜访他，而且还毫不犹豫地投入了他的怀抱。
也许这一次他再去找她，说不定石季婉看到他之后，马上又回心转意了呢。
于是，他终于鼓起勇气，又厚着脸皮去找她了。
他到了石季婉的住处，敲了敲门。
很快，他就听到里面有人出来开门。
他不免又得意起来，心想石季婉看来还是会重新接纳他的，上次她写的那封绝交信，只不过是一时的气话罢了。
然而，当房门打开之后，他发现站在他面前的，却完全是一个陌生的女人。
两个人都吃了一惊。
他尴尬地问道：“请问石季婉小姐在吗？”
那女人茫然地摇了摇头，说不认识什么石季婉。
杨世会急了，说以前石季婉就是住在这里的，问她知不知道石季婉搬到哪里去了。
那女人又摇了摇头说，她不知道这个人，她是六个月前才搬过来的。
说完，她就把门给关上了。
这下杨世会彻底死了心，他知道，石季婉这次是真的下定了决心，要和他一刀两断了。
回来之后，他又联系了杨巧真和家人。
杨巧真现在过得很苦，她自己也已经有了两个孩子了，丈夫又被发配到山西改造去了。
她现在不仅要照顾自己的两个孩子，还要照顾杨世会的几个孩子。
杨世会的两个大一点的孩子，已经上了大学，剩下两个孩子，一个十四岁，一个十二岁，还有这几个孩子妈妈——杨世会那个患精神病的老婆，也全靠杨巧真在照顾。
在旧相识的家里，有人劝他出国，说这样才会安全无忧。
刚好他在这里遇到了他在武汉时怂恿让部队起义的一个军官，这个军官现在也失势了，感觉非常的苦闷，也想出国，只是没有门路。
而杨世会虽然想出国，但是他现在身无分文。
他灵机一动，就骗这个军官说，他可以联系蒋介石的秘书，他肯定会答应帮助他们到台湾去谋求新的发展的。
这个军官信以为真，于是就邀了两个商人出钱，于是他们四个人于三月底就离开上海前往香港，希望能从香港转道台湾。
而杨巧真和他的那几个孩子，他以前没有想过他们，现在这个时候，他更不可能把他们放在心上，而是直接就这么毅然决然地抛下了他们，和那几个人一齐离开了。