1931年，张学良用10万块大洋和一幢小洋楼，买断了和谷瑞玉近十年的感情。同时张学良还提出两个条件：“离异后，谷瑞玉不许利用张学良的名义；不得步入风尘；任凭改嫁。”
离婚第二天，赵一荻专门去看望谷瑞玉，谷瑞玉见到赵一荻当场痛哭流涕：“我对不起少帅，对不起大姐，也对不起你，今后我只能用事实来证明我的忏悔了。”
谷瑞玉究竟做了怎样的事情，让张学良不顾旁人劝说，毅然决然要与她离婚？
谷瑞玉出生在天津一户经商世家，得益于二姐、三姐与奉军的关系，谷瑞玉从小就有机会接近张学良。第一次奉直战争爆发后，谷瑞玉和张学良在家宴上相识，简单用英语交谈之后，谷瑞玉给张学良留下了深刻的印象。
一年之后，张学良到天津与英国军火商人谈判，谷瑞玉为张学良担任翻译，这一次相处让张学良和谷瑞玉的关系更加亲近。后来谷瑞玉到战场上探望张学良，恰逢张学良遭遇大败，正当张学良准备拔枪自戕时，谷瑞玉扑了上去苦苦哀求，救了张学良一命，由此张学良和谷瑞玉在战场上确立事实婚姻。
当时张学良已经和于凤至成婚，张作霖听说之后大为恼火，要张学良把谷瑞玉赶出奉天。后来张学良偷偷买了一幢小洋楼，让谷瑞玉暂住下来，张作霖虽然没有继续追究，但谷瑞玉始终没能名正言顺住进帅府。
1925年，张学良奉命南下开辟新的势力范围，谷瑞玉毅然随他前往。尽管在南方水土不服经常生病，但谷瑞玉从不在张学良面前叫苦。后来张学良因郭松龄倒戈染上鸦片瘾，谷瑞玉因此遭到非议，不久便得了重病，张学良劝其回天津治病，但谷瑞玉担心张学良身边无人照料，毅然坚持留下。
为了表彰谷瑞玉随军时所做的贡献，张学良给她在天津法租界买了一幢豪华的新宅；为了方便谷瑞玉进京听戏方便，在北京也购置了房产和衣物。
1928年，张学良升任第三方面军军团总司令之后，谷瑞玉由于跟随张学良长年南征北战，整个人开始发生变化，不但经常为了一些小事和张学良发生口角，还开始和张学良分居，打着张学良的旗号，将一些戏曲名角请到家里来唱堂会。
张作霖在皇姑屯遇难后，谷瑞玉在秘不发丧期间，未经允许返回沈阳，引起了日本人的怀疑。张学良主政东北之后，谷瑞玉又以帮助张学良取得如今的地位为依仗，闹着要回大帅府。
这一年夫妻间的渐行渐远，以及谷瑞玉愈发明显的任性，让张学良对谷瑞玉逐渐感到厌恶。
也正是在这一年冬天，张学良和南京代表谈判时，以杨宇霆、常荫槐为首的旧军阀，开始谋划将张学良取而代之。杨宇霆暗中指使三姨太和谷瑞玉套近乎，还让二人结拜为姐妹。
张学良觉得杨宇霆动机可疑，曾劝阻谷瑞玉少和杨宇霆接触，然而谷瑞玉却我行我素。
借口自己父亲寿辰，杨宇霆请谷瑞玉和张学良一同赴宴。当张学良和谷瑞玉到了杨府之后，在场的宾客对张学良都十分冷漠，后来杨宇霆的三姨太拉走了谷瑞玉，张学良独坐在那里，忽然发现几个日本浪人正在悄悄向他接近。
张学良立刻意识到，这不过是杨宇霆给自己设的鸿门宴，正当他思考如何脱身时，只见四个大汉走了进来，是张学良的四个副官。张学良顿时喜出望外，悄声问他们怎么来了，副官告诉他，是于凤至让他们来救驾的。
当杨宇霆和常荫槐从暗中走出来后，所有人立刻起立问好，杨、常二人走到张学良面前，无比热情地劝酒，张学良拒绝不过正要接杯时，其中一名副官立刻为他代饮。
杨宇霆见张学良的副官到了，给常荫槐使了个眼色，常荫槐立刻将杯子往地上一摔，一旁饮酒的日本浪人借故对骂起来，形势十分紧张。正在这千钧一发之际，于凤至在两名使女的搀扶下走了进来，一进门就怒斥张学良：“孩子都病成那样了，你还有心思在这里喝酒，万一有个三长两短我如何处理？”
不等张学良说话，于凤至就向杨宇霆拱手道别。杨、常二人深受阻拦，被于凤至一把推开，拉着张学良就往门外走，张学良由此逃过一劫。
这件事之后，张学良和谷瑞玉反目成仇，谷瑞玉一气之下回到天津。张学良为绝后患，以议事为名设下圈套，处决了杨宇霆和常荫槐。谷瑞玉听说之后，对自己之前的所作所为悔恨万分，对张学良的态度有了一个很大的转变，想以此挽回危局。
原本张学良想要将谷瑞玉一同处决，但在赵一荻的苦苦劝说之下，张学良才答应放谷瑞玉一马，但要和她离婚。于凤至和赵一荻劝张学良再三考虑，给谷瑞玉一个改过的机会，但张学良决心已定。
1931年1月，张学良来到天津，甚至连谷瑞玉的面都不愿意见，只是让人将离婚的文件传给谷瑞玉，只要她答应签字，其他条件全部应允。谷瑞玉看过张学良提出的三个要求后，含泪点头同意，只提了一个条件，就是将天津的那幢楼房留给她。
张学良毫不犹豫便答应下来，并拿出10万大洋给谷瑞玉做生活费，以答谢她随军之劳，如果再有困难，还可以找于凤至解决。就这样，由于性格上的任性加上政治上的幼稚，谷瑞玉亲手葬送了自己的婚姻。
和张学良解除了婚姻关系后，谷瑞玉在天津隐姓埋名生活，和张学良的弟弟妹妹们也保持着联系，但始终没有再见过张学良。但谷瑞玉对张学良始终充满感情，离开张学良之后终身未嫁，直到逝世，谷瑞玉的家里都摆满了张学良年轻时候的照片。
1983年，谷瑞玉在天津病逝，终年83岁，一生无儿无女。在张学良的三位夫人中，谷瑞玉是第一个告别人世的，也是命运最为不幸的。
