司馬炎登基為帝后，虛心征求直言，并下詔禁止了占星、望氣以及讖緯之學(xué)。

司馬炎與右將軍皇甫陶在一起論事，皇甫陶與司馬炎爭論起來。

散騎常侍鄭徽上表，指責(zé)皇甫陶頂撞皇帝，請求給皇甫陶判罪。

司馬炎說：“忠誠正直的言論，唯恐聽不到。鄭徽逾越職位，胡亂稟奏，這豈是朕的意思？”

于是免去了鄭徽的官職。

王祥與何曾、鄭沖等有德望的老臣，希望再朝見，司馬炎就派侍中任愷，向四人詢問朝政得失，以及急需解決的施政教化問題。

王祥因?yàn)槟昀希Σ粷?jì)，多次請求遜位，司馬炎不許。 

御史中丞侯史光認(rèn)為，王祥久病，不能按時(shí)朝會(huì)，盡臣下之禮，應(yīng)該同意免去他的職務(wù)。

司馬炎下詔說：“太保德行高尚，是朕賴以興隆政教的元老。前后多次遜讓，朕沒有答應(yīng)他的要求，這件事有關(guān)部門不得議論?！?/p>

把侯史光的奏書壓了下來，不作答復(fù)。

由于王祥堅(jiān)決要求辭官，回歸故里，晉泰始三年（267年）七月，司馬炎才下詔，同意王祥以睢陵公的身份遜位，地位和太保、太傅一樣，在三司之上，俸祿賞賜與以前一樣。

司馬炎還下詔說：“古代官員致仕，不適用于王侯，現(xiàn)在太保雖然以國公爵位留居京城，不宜再有朝見的勞苦。現(xiàn)在賜給太保幾案與手杖，可以不朝見，有大事派人到太保府第征求意見。賜給安車駟馬，宅第一區(qū)，錢百萬，絹五百匹，和床帳席褥。將宮中舍人六名送給睢陵公作舍人，設(shè)置官騎二十人。以睢陵公之子騎都尉王肇為給事中，可以經(jīng)常進(jìn)府第省問。朕又因?yàn)樘８邼嵡辶?，沒有宅第，暫且留住官府，等所賜宅第建成后再搬出。”

晉泰始四年（268年），王祥病重，寫遺囑訓(xùn)誡子弟說：“有生就有死，這是自然之理，我已經(jīng)八十五歲了，死而無恨。不留遺言，讓你們無所遵循。我生在末世，被朝廷選用。擔(dān)任過許多不同的職務(wù)，卻沒有護(hù)衛(wèi)輔佐的功勞，死后無以報(bào)答。在我氣絕后只洗手足，不必沐浴，不要以布帛纏身，根據(jù)季節(jié)，穿平時(shí)洗過的舊衣服。陛下所賜的山玄玉佩、衛(wèi)氏玉玦、綬笥等，都不要帶入墳?zāi)埂Ｎ髅⑸酵临|(zhì)本來堅(jiān)硬，不必用磚石砌，不要起墳壟。墓穴挖二丈深，槨只容棺即可。墓中不開前堂，不放幾案，不置書箱鏡奩之類的用具，棺材前可以放張坐具就行了。干飯肉干兒各一盤，薄酒一杯，早晚做祭奠用。家中大人小孩不必送喪，一周年兩周年的祭日，可用牛豬各一。不要違背我的意愿。高柴泣血三年，孔子認(rèn)為是愚蠢的行為。閔子騫脫掉喪服出來見客人，彈琴表示哀痛，孔子認(rèn)為是孝。所以過分哭泣哀傷，會(huì)給自己帶來損害，飲食也要自己控制，適宜為度。言行經(jīng)得起審查，這是信的最高要求。美則歸人，過則責(zé)己，這是德的最高標(biāo)準(zhǔn)。揚(yáng)名顯親，是最大的孝，兄弟和順，宗族喜樂，是最好的悌。對待財(cái)貨的態(tài)度首先是讓，這五條是立身之本。顏?zhàn)铀詾榉蜃又?，原因也是這些。有些人是沒有認(rèn)真想問題，值得效法的榜樣并不少?！?/p>

王祥的兒子都奉行了他的遺言。

四月初二，王祥去世，享年八十九歲。

司馬炎下詔，賜棺槨一副、朝服一套、衣服一套、錢三十萬、布帛各百匹。

當(dāng)時(shí)，由于文明皇后王元姬才崩逝一個(gè)多月，事務(wù)繁忙，司馬炎沒有能顧及王祥的喪禮，事后，司馬炎下詔說：“為睢陵公辦喪的事已經(jīng)過去。朕盡管每每為他的死哀傷，但還沒有痛抒哀情，現(xiàn)在便為他哭一場?！?/p>

晉泰始五年（269年），司馬炎下詔，追賜王祥謚號(hào)為“元”。

王祥去世后，去其家中吊唁的賓客，都是德行聲望顯著之人。

王祥同族兄弟的孫子王戎感嘆說：“太保王祥在正始時(shí)期，沒有被列于能言善談的那一流里，有時(shí)候與他交談，思想情趣清明廣遠(yuǎn)，莫不是他的德行掩蓋了他言談方面才能？”