严嵩在编修的岗位上刚干了一年，正德三年五月，祖父严骥去世。严嵩告假归里奔丧。明朝的礼制，朝廷官员在位期间，如若父母或承重祖父母（承重，指父亲已亡故的长房长孙）去世，则无论此人任何官何职，从得知丧事的那一天起，必须辞官回到祖籍，为长辈守孝三年（实际是二十七个月）。在家刚待了一年，正德四年六月，相依为命的母亲也去世了。严母晏灵秀，娘家世居新喻（今江西新余），富有产业。严淮早逝，晏氏含辛茹苦，抚养遗孤。严嵩与母亲感情极深。母亲的离世让严嵩从青年才俊的踌躇满志中醒了过来。子欲养而亲不待，这些年自己在仕途上孜孜以求，从来没有考虑过远在家乡的母亲的生活，这是作为儿子的大不孝。严嵩那颗追求仕途的心淡了下来。
正德七年，严嵩丁忧期满。但是他并没有按期返回京师复职，而是在家乡长住了下来。严嵩在钤山之麓、学宫之侧建造堂舍，名“钤山堂”，“面山历历，秀而且整”，“结茅植楥，耽书履素，椟簪弁而冠鹖，闲甘脆而茹粝”，过起了隐居生活。
是什么原因使严嵩舍弃了“储相”之地的翰林院而久居山乡？严嵩自己对外宣称是身体原因，疾病缠身。他长得又高又瘦，“长身戌削，疏眉目，大音声”，王世贞形容其为“瘦若鹳雀立”。严嵩自己也说：“少孤多病，恒有忧生之嗟”，“受气素薄弱，既长犹尪羸”。
疾病可能是严嵩淹留家乡迟迟不归的一个原因。身为首辅后，他是这样表述自己的早年岁月的：“一向卧疾田里，恭遇皇上（嘉靖帝）登极，臣始入仕。”然而严嵩的身体真的糟糕到了“卧疾”乡里，上不了班的程度吗？乡居期间，他游山玩水，寻幽览胜，结友唱和，读书著述，毫无病态。在自称“身体不适”的背后，隐藏着深刻的政治原因。严嵩的聪明过人、少年老成在这件事情上暴露无遗。
明武宗朱厚照当政的正德年间，是明朝宦官之患最为酷烈的时期之一，历史上赫赫有名的“立皇帝”刘瑾即是这一时期的大太监。