1960年上半年，我跟随毛泽东再次来到武汉。
那天，管理员老张来找我。他说：“高秘书，主席灶上没肥皂了，你能不能跟武汉的同志联系一下，看是否能买几块肥皂？”国家正值困难时期，一切都实行严格有效的定量供应，发工资时，同时要发各种供应票证，就是毛泽东与中央首长们也不例外。毛泽东一生俭朴，从没用过香皂，平时就是清水洗手脸。着手上染了墨，洗不掉，才擦点肥皂，所以，供应给他的肥皂是够用的。
但厨房整天和油盐酱醋打交道，肥皂自然用的多些。我听到张管理员的报告，就找了武汉的有关同志：“主席灶上没肥皂了，能不能在你们这里买一点？”
“有呀，主席灶上用肥皂当然应该保证，这是没问题的。”武汉的同志热情支援。
于是，我叫张管理员去同武汉的同志联系买一下。究竟买了多少？我并不知道。主席每天要处理许多大事，我不能分心，对这类小事没想那么多。
后来，张管理员又来找了我，问：“高秘书，你还有没有肥皂？”
“没有了。”我问：“怎么，没买上？”
“买上了。你要不要点？”
“别的同志是不是都有了？”我想到这是出差，同志们都有可能断了肥皂。
“都买了。你不买点？”
“那就买一条吧，我还真没了呢。”
就这样，我买了一条肥皂，以解旅途之需。万没想到，这条肥皂惹出了麻烦。
回到北京不久，在1960年的后半年，中南海里开始了一次小整风。
起因是多方面的，我也很难讲清。不过有几件事还是知道的。
毛泽东身边一名工作人员打扫卫生时，见书架上有那么多书。他酷爱读书，就拿了一本回去看。由于没有向毛泽东讲，事情变复杂了。毛泽东一生极珍视书籍，战争年代什么都舍得丢，唯独舍不得丢书。每到精简行装时，只有书不让精简。许多中央机关没有保留住的珍贵资料，毛泽东个人保存下来了。他发现少了书，自然要生气。批评这位工作人员“不懂规矩”，“不要他在这里干了”。
毛泽东虽然生气，但也不同意为此就否定一位同志，当他听说这位同志被送往农场劳动时，他不满了。说：“他还是个娃娃么，怎么能这样搞呢？”老人家亲自关心，讲了话，解脱了这位同志，送到空军，成为一名部队干部，后来又入了党。这都是后话了。
事情刚发生时却不然，成为一件大事要整顿处理。加上其他一些事情，比如有几次叶子龙同志的老战友请他去吃饭，他常带了我们一起去。我们知道什么呀？首长叫跟着去就跟着去呗，去了就跟着一道吃了。这些事成了吃吃喝喝的不正之风，拿出来开会解决，地点就是我在中南海原来的宿舍（后改为小食堂）。
整风会上，警卫局负责同志向我提出了肥皂问题。他说：“你们到了外地，到处要东西，你们在主席身边工作，这样做带来什么影响？高智，你是不是跟武汉的同志要了肥皂？”
我承认要了肥皂，讲述了事情经过，并做了检查，在多次检查中，我已把问题提到了这样的高度，我说：“向武汉的同志买肥皂时，我没想到政治影响..”
我以为提到政治高度认识这块肥皂就可以了，可是那位同志仍然说不行，还让我提到高度上来认识。我说我再提不到什么高度了，他就狠狠批我一顿。
我一忍再忍，终于忍不住站了起来，指着他问：“一条肥皂，我提高到政治高度，你还叫我提高。你从江西共产主义劳动大学回来，你怎么就扛回半扇子猪？还有菜籽油，你为什么送人？还给了我一斤菜籽油，你这是啥意思？”
争论中，这位同志又说我不重视安全保卫工作，我又急又气，大声说：“你说我不重视安全保卫工作，这是胡说！”
此前，他曾叫人起草那么个文件，有关于如何做好主席的秘书工作，安全保卫工作等五条。他拿文件到办公室反复征求我的意见。我说了要有这五条，可以把秩序改改。安全保卫放最后。
现在，他在整风会上责问我：“你为什么提出把安全保卫放最后，机要秘书为啥不放最后？”
我说：“机要秘书是我的日常工作！”
他气得厉害，我也气得厉害。我真想到毛泽东那里去讲，想了又想忍住了。
我什么也没跟毛泽东讲。他在下边讲了没有？不得而知。
整风之后不久，我们就下去到河南、江西搞社会调查，参加劳动。我从江西回来时，叶子龙、李银桥等老同志都陆续调离了。我也很快离开了毛泽东。这也是后话了。
据说，在我们一组整风后，他们本来还想在刘少奇的二组及其他首长身边工作的三组、四组整风。但是，少奇同志拒绝了，保护了在他身边工作的二组的同志们。
