1946年，42岁的林徽因和金岳霖在昆明的一栋别墅曾同住5个月，然而当别人问梁思成是否吃醋的时候，他却说：“我没什么可担心的。”
可见，梁思成非常清楚金岳霖的为人，也相信妻子林徽因的品格，金岳霖一生痴恋林徽因，更是为了林徽因终身未娶，而梁思成对此，却非常大度包容。
1930年，金岳霖第一次在北京的北总布胡同见到林徽因，便一下子被林徽因给深深地吸引住了，然而当时的林徽因已经和梁思成结婚，并早已生了女儿。
恨不相逢未嫁时，林徽因已经嫁人生子，对此金岳霖非常遗憾，但他又是一位正人君子，于是便把这份爱恋深深埋在心中。
为了能每天见到林徽因，金岳霖干脆拿着行李，搬到了林徽因家的后院，往后的人生，金岳霖也开始了漫长的“逐林而居”的日子。
在1932年到1937年的夏天之间，林徽因和家人所住的四合院是租住的，林徽因和家人住在前院的大院子，而金岳霖租了后院，两家人的院子是相通的，有时候连吃午饭和晚饭也会在一起。
虽然当时外界流言蜚语不断，可是梁思成却不以为然，非但没有排挤这位情敌，还把金岳霖当成兄长和朋友，最终，这三人之间一直维系着朋友之谊。
抗战时期，北平的知识分子集体南渡，金岳霖依然对林徽因体贴入微，在林徽因等人避难四川李庄时，金岳霖曾经专门饲养了十几只母鸡，只为了每天捡一个鸡蛋，给重病缠身的林徽因补充营养。
1945年8月，抗战胜利的喜悦，却没有冲淡梁思成心中的哀愁，这一年，梁思成陪着久病的林徽因到重庆检查身体，医生告诉梁思成，林徽因将不久于人世。这时候，林徽因才刚刚41岁，如果没有战乱，正是做学问的好年华。
1946年2月，金岳霖出资在昆明唐家花园的唐公馆租下一座房客刚搬走的独立院落，让林徽因养病，林徽因和金岳霖在此曾同住5个月，期间，很多曾经的朋友也经常来探望和交谈，给病中的林徽因带来了不小的欣慰，而当时的梁思成和孩子都避难李庄。
而当别人问起梁思成是否吃醋时，梁思成说：“老金和她住在一起，还雇了一个很好的女佣，她得到了很好的照顾，我对她没什么可担心的”。
从梁思成轻描淡写的语气可以看到，梁思成和金岳霖以及林徽因三人之间，早已是亲情般的情感了，因此梁思成表现得很大度。
抗战后，知识分子们纷纷北归，三人陆续来到北京，又在清华大学新林院做了邻居，金岳霖不但对林徽因痴情不改，还会接送林徽因的孩子上学放学，教他们英文，陪他们逛街。
林徽因有一儿一女，其中，儿子梁从诫和金岳霖的关系最好，金岳霖的晚年都是梁从诫在照顾，并亲切的称呼金岳霖为“金爸”，而金岳霖也把梁从诫当做是自己的亲生儿子，无论大事小事都找他商量。
金岳霖终生未娶，也没有孩子，因此在临死前把所有遗产留给了林徽因儿子梁从诫，也许，在金岳霖看来，这是他能为林徽因做的最后一件事。
1984年10月19日下午三点35分，金岳霖因双侧肺炎、肺气肿、冠心病等病症医治无效，在北京305医院逝世，享年89岁。
金岳霖去世以后，梁从诫为他料理了后事，并将金岳霖葬在了林徽因的墓旁，再次和林徽因做起了“邻居”。