我心里至今有个谜，不曾解开。也不打算解开了。那是1958年的事，在中南海，秋风萧瑟的一天，毛泽东忽然问：“高智，你在北戴河说过什么没有？”毛泽东身边的人，互相之间也有关系复杂的一面，有时矛盾甚至比较激烈，我是不愿意介入这种矛盾的。但是，有些事是不由人自主的。
毛泽东问话的神情，表明这不是一般生活琐事上的传话或打小报告，很可能是有政治色彩。“没有。”我回答一句，平静干脆。毛泽东再没问第二声，我也再没说第二句。回到家，我哭了。一个劲掉泪。我不知道毛泽东问的是什么话？也不知道是谁告了我的状，告了什么状？爱人见我一个劲哭，急坏了，追问我出了什么事？我始终没说。守口如瓶是我们机要秘书的一种本能。
后来到了庐山，毛泽东的贴身卫士田云玉有天忽然对我说：“主席跟我夸你呢，说高智是个好心人，老实人。”我多少安了些心。我从不向毛泽东嘀咕别人，出了这件事，我既不到处打听，也不曾急于向毛泽东解释或要求澄清。我的这种态度，我相信毛泽东会有个正确判断。毛泽东的夸奖显然是对我这种态度的肯定，然而矛盾并没解决。1959年6月17日，毛泽东叫我去。我走进书房，他正坐在椅子上看书。卫士轻轻叫他一声，他看到了我。说：“高智，我明天要出去。”“到哪儿去？”“湖南，江西。”毛泽东说着，作个手势：“以后出门，你们两个秘书轮流去，不用都跟着走。这次就是你跟着去吧。”回来我就找了罗光禄同志。我说：主席交待，以后他外出，我们一个人跟着去，一个人留家里筛选文件，这次的意思是我先去。
6月18日，我随毛泽东离京。先到了湖南。毛泽东喜欢游泳，游遍了中国的江河湖海。这次到了湖南，又是夏天，身边就是湘江，我就问：“主席，要游泳不游？”
“不游。”毛泽东不知为何没了兴致？“是不是准备一下？万一要游..”“不要准备。”毛泽东干脆一句。我的经验，毛泽东交待了的事情就必须照办，不能自作聪明，自作主张。
他说不能准备，你要是准备就肯定要挨批。第二天，毛泽东坐船游览湘江。罗瑞卿要让当地做游泳准备工作，我忙说：“罗部长，不能准备。我问过主席了，他有交待。”
“那也要准备呀。”罗瑞卿尽心尽责，要对毛泽东的安全有保证，“万一主席要游呢？”“那也不要准备。因为主席讲了话，你还准备就准挨批。”罗瑞卿问：“不准备，发生问题谁负责？”“发生问题我负责，你不要准备。”事后，有同志说：“罗部长官不小了，你就那么说他？”我说：“官大该说也得说。”这话七传八传，传到警卫局一位负责人那里，就成了“罗部长官大了，我照样说了他一顿。”
我和这位负责人有许多说不出口的矛盾，和一般社会生活中常有的情况一样，彼此心明罢了。比如我的一项重要任务是，筛选各部委各省市各地区报来的文件、电报和材料。哪些该给主席看，哪些不必？哪些送哪些不送？那天我正在办公室看文件，其中有些是主席批阅过的文件放在我那里，这位负责人来了，要看看主席的文件。我一口拒绝了。毛泽东早有交待，就连江青都不许看，主席批给她的文件她才敢看，不是批给她的她就不敢看。你是警卫局负责人，你怎么能随便看？我说：“杨尚昆主任和叶子龙主任没有交待，我不能给你看。你要看，得有他们批准。”
这位负责人一脸愠色，回头就走了。现在，他借这句传话，狠狠训我一顿。我竭力克制自己，没有同他大吵。事后，我思想斗争激烈，要不要把这件事汇报给毛泽东？我了解毛泽东的脾气，如果我汇报了，他会吃不了兜着走。毛泽东历来是说话算数，交待了的就要照办，除非他自己又讲了不同的活，否则是要追究，要严肃处理的。我最后没有汇报。我不愿把事情闹大，也不想使他大狼狈。毕竟是整天在一起工作。专列又要出发了。我照例到毛泽东那里去请示：“主席，下站去哪里？”“先去韶山，然后去庐山，中央开个座谈会。”毛泽东交持说，“你打电话给杨主任，叫他做准备。”
电话一通，我马上向杨尚昆同志报告。他没听清，大声问：“主席要到哪里？”
“韶山。”
“哪里？”
“韶山！”
杨主任立刻通知有关方面做准备。专列驶到湘潭，汽车已准备好。毛泽东改乘吉姆车，驶向韶山。上车时，我想最好能下点雨，把马路上的灰上盖一盖。就那么巧，天上真落下一阵雨。车队沿着潮湿干净的马路向前飞驰。沿途看到群众修地运肥，一派热火朝天的大干局面。我们这些工作人员看到这种场面都是很兴奋的，毛泽东在车上看了也面露笑容，显得很高兴。
保持着这种良好心情，到了韶山又看到了故乡美景，毛泽东显然是要从这片养育了他的土地上汲取力量和信心。他晚上睡不着觉，写下了七律《到韶山》的著名诗句。
我是随毛泽东一同到韶山，他看到的情景确实如诗中所言。他指着故居前的水塘无限感慨地说：“小时候我就是在这个水塘里游泳，那时还没见过长江..”
他看望了故乡的老人和娃娃，在小水库游了泳，为父母扫墓，献上一束松柏枝。他的心情，那一种壮怀激烈是可以想象得出的。
毛泽东个别谈心时，喜欢和老人交往，喜欢与党外民主人士及阅历广的人讨论问题。记得1957年毛泽东请周谷城由上海来，专门讨论形式逻辑的问题。毛泽东让周谷城讲什么叫形式逻辑？周谷城解释后，毛泽东不满意，在游泳池继续讨论几次。周老住和平宾馆，毛泽东还专门交待我代他送给周老一笔钱，大约是300元，“以助旅途之用”。毛泽东历来是公私分明。私交论私情，对于老乡老友他都用自己稿费或工资有所支援。特别是对王海容家，他常有支援。他说：“王季范先生对我帮助很大，从小建立感情，我不能忘。”毛泽东很少请党内同志来家里作客吃饭，但是常请一些民主人士到家里吃饭谈心。他与章士刽先生来往就比较多。这次到韶山，他也看望了许多老人，同他们谈心，了解情况。
他听到人们都是说好。
可是，彭德怀深入湖南各地，了解到许多真实情况，收集到的问题很多。
于是，毛泽东上庐山后，在形势座谈会上，听到了两种不同的意见，并且争论很厉害。毛泽东开始确是下力气纠“左”的，彭德怀递上万言书后，毛泽东不以为然，批评彭德怀有“资产阶级动摇性”。形势座谈会快结束时，毛泽东做总结发言，批了“左”也批了右。本来准备散会了，由于许多复杂的原因，转而召开了中央全会，对彭德怀同志做了错误的“清算”和错误的处理决定。
庐山会议后，国民经济明显进入困难时期。一年前的口号是“敞开肚皮吃饭，鼓足干劲干活”。听到不少在大食堂里比赛吃饭的故事。而今，饥饿的盲流在全国流审着，各地报来了饿死人的数字。听到的故事也不是一年前的敞开肚皮比赛吃饭了。听到的是饥饿的小偷溜进了食品店，不顾一切往嘴里吞，竟活活撑死在柜台里..
困难时期，毛泽东的生活是异常俭朴，甚至可以说是艰苦的。听卫士讲，他多次流泪。这期间，他对子女及身边的工作人员要求也格外严厉，不允许有丝毫特殊化。他以身作则，实行三不吃：不吃肉，不吃蛋，吃粮不超定量。并以此要求我们。
在这个非常时期，中南海里发生了一次小整风，毛泽东身边的工作人员发生了一次大变化..
