因此，当一九五九年初冬，我收到先生新出版的《美学书怀》时，我还以为先生健康已完全恢复，高兴地给他写了一封信，祝贺他新作的出版，并说明要到南方去出差，回来后再去看他。没想到回京后却吃了闭门羹。有人说先生易地去疗养了，也有的说被人送进精神病院了，打听几次，不得要领。我再看到先生，已经是一九六二年的秋天了，还是先收到先生的文章(《关于“美”与“好”》，发表在一九六二年九月十六日《人民日报》，这大概也是先生生前发表的最后一篇文章了)，随后我带了排出的文章小样去看他，这时先生已被迫迁到北小街的一个小胡同里。那次虽然不是我们最后一次见面，但不知为什么，它留在我记忆里印象最深刻。记得先生是住在这所平房院落的两间东厢房里。我去时，他恰好不在，我站在北小街马路边等他。他远远走来，上身着白衬衣，下身是灰裤子，一件灰上装搭在臂弯里。走路时步履也矫健，心情似是很好，没再谈起那些“离奇的想象”，只是非常有兴味地谈论他购来的一批古画，特别是其中的一幅吴道子的马群，先生十分赞赏。我虽不懂画，却听说过吴道子从无“一匹马”留传下来，因而不得不给先生泄点气，说了我怀疑这些画都是明清时人的膺品。
先生也不否认这是事实，但又说这张画本身画得好，和它的价值相称，这幅马是三百元，其他几幅不过一二百元。聆听着先生兴奋的谈论，我不禁愁苦地望着他，真想说出既然是些假古董，再去卖，恐怕连四十元一幅也没人要，但我终于忍住没有说出。看来先生的稿费已用光，生活较窘迫。问起来才知道先生并没有正式工资。冯雪峰同志任人民文学出版社社长时，先生被聘为特约翻译员，每月有二百元酬金，现在则只给一百元了。土儿胡同的房子又因是借支稿费购买，也被收回了。我感到这种做法很不利于党的统一战线的工作，回来后就给林默涵同志写了一封信，反映了吕先生的情况，直率地提出了我的意见。默涵同志也很重视这件事，批了个解决办法，可能是由文联再补助一百元。不久，吕先生迁回了土儿胡同。我在下去参加“四清”工作前又去看过他，谁知病情却严重起来，有时神智也不清，以至只能默然相对了……