1931年的一天，梁思成从宝坻考察回来，林徽因哭着对梁思成说：我同时爱上了两个人，很是苦恼。那语气不似妻子对丈夫的谈话，倒像是个小妹妹在向哥哥拿主意。

梁思成很痛苦，他思忖了一夜，比较了金优于自己的地方，最后说“你是自由的，如果你选择了老金，我祝愿你们永远幸福。”林将原话转述给金，金的回答更是让人意外：“看来思成是真正爱你的，我不能伤害一个真正爱你的人，我应该退出。”

从此金与梁林夫妇毗邻而居，尽管之后两家人数次移居，却始终相邻作伴。梁思成的儿子也常常是金岳霖接送，每当梁林小两口吵架时，总会找哲学家金岳霖从中调解。

他对她的爱，是默默的守护。

1955年，林徽因病去世，葬礼中，金岳霖写下挽联：一身诗意千寻瀑，万古人间四月天。成为千古名句。

林徽因去世多年后，一天金老在北京没来由地请客吃饭，众人皆不明白这到底卖的是什么关子，半晌金老仰天长叹：今天，是林徽因的生日。可见用情至深。