邓紫君死后，严光悲痛欲绝，他向坚镡递交了辞呈，让坚镡代自己上交朝廷。
而后，他带着邓紫君的棺椁，去到新野，将邓紫君连同她的家人，一并安葬。
在邓紫君的墓碑上，严光亲手刻上，‘亡妻邓氏紫君墓’，落款是‘夫严子陵’。
严光并没有把邓紫君葬在邓家的祖坟附近，他和邓紫君虽未正式成亲，但在严光的心目当中，邓紫君已经是他的妻子。
他将邓紫君安葬在新野的郊外，一处有山有水、风景如画的地方。
之后，他又在附近盖了一间小茅草屋，住了下来。
每日，严光都会去邓紫君的墓前坐坐，说说话，然后就是过着钓钓鱼，看看书，闲云野鹤般的生活，时不时的他也会去游走四方，但是都不会离家太久，最多一两个月他就会回来。
以前，他是了无牵挂，想去哪就去哪，走到哪，哪就是家，而现在，他有了牵挂，他有了自己的家。
当严光的辞呈被坚镡派人送到洛阳，交到刘秀的手中时，刘秀已经率军回到洛阳多日。
这段时间，刘秀的日子也不好过，主要是阴丽华在和他闹别扭，对他的态度也变得很冷淡。
刘秀屡次去西宫，