林靈素真人還鄉(xiāng)是因為“妄議遷都”而觸帝怒，遂貶為太虛大夫，斥還溫州，明嘉靖《永嘉縣志》載：“(林靈素)因大水臨城，上疏言，國難將至，請遷都避之?！边@話終于給死對頭蔡京抓住了把柄，于是就組織滿朝言官彈劾妖言惑聽。豈不知這正是林靈素真人以預(yù)料到之后的靖康之亂，而暗示徽宗遷都已做準(zhǔn)備，林靈素真人明知遷都會為自己招來禍患，但絲毫不在意自己的榮辱，依舊勸諫徽宗遷都，并直白的說出了“切忌丙午、丁未，甲兵長驅(qū)，血腥萬里，天眷兩宮，不能保守”之語，并引《推背圖》中所言“兩朝天子笑欣欣，引領(lǐng)群臣渡孟津。拱手自然難進(jìn)退，欲去不去愁殺人”的句子來加以佐證。可惜徽宗未能領(lǐng)悟，后來果然如林靈素真人所言，最終徽欽二帝被擄，徽宗最后身死五國城。據(jù)《東都事略》記載說林靈素在真人臨走之時，將歷年皇帝所賜之物，共三百擔(dān)，一一按照千字文的順序封箱編號，交回宮中，只帶了一個道童，拿著自己的衣被回鄉(xiāng)。絲毫不貪戀一銖之財。

最終跟著林靈素回鄉(xiāng)的還有一位親傳弟子名叫張如晦，在京城時就一直跟隨林靈素學(xué)道修習(xí)，當(dāng)林靈素真人臨終之時，傳法脈與他，并將六印九符等物也一起傳于張，并囑咐張說：“今則別去，他時神霄再會?！闭f完命張取來紙筆寫下一詩：“四十五歲勞生，浮名滿世崢嶸。只記神霄舊路，中秋月上三更?！苯又H自上香一柱，空中突然一聲霹靂，林靈素真人即坐化而去。