却说唐宪宗素性好佛，一日两蕃遣僧进佛骨，其色红润光焰。宪宗惑之，欲迎之入宫，诸臣莫敢言其非。文公以为异端不祥之兆，乃上表谏之。以为：“佛乃夷狄之法，自黄帝以来，禹、汤、文、武皆享寿考，百姓安乐，当是时未有佛也。迨汉明帝时，始有佛法，乱亡相继，运祚不长。宋、齐、梁、陈、元、魏以下，事佛渐谨，年代尤促，惟梁武在位四十八年，三舍身为佛家奴，竟为侯景所迫，饿死台城。 由此观之，则佛不足信明矣。如其身在，奉命来朝，陛下容纳，不过宣政一见，礼宾一设，赐衣一袋，卫而出境，不令惑众。况具身死枯朽之骨，岂宜入宫？群臣不言其非，御史不举其罪，臣实矜之。悉付有司，投诸水火，以断天下之疑，绝后世之惑，佛如有灵，能作祸福，凡有灾咎，宜加臣身。”
表上，宪宗大怒，议降潮州，限日起行。文公别家，遂往潮州而去。
行不数日，彤云四起，寒风急飘，纷纷雪下。文公行至一处，雪深数尺，马不能进，路不可知，又无人家可问。约马退转，亦无归路。风紧雪飘，衣衫尽湿，冻馁难禁，愁苦无诉。
忽一人冲寒寻路，扫雪而来，视之乃湘子也。向前谓公曰：“公忆昔日花间之语乎！”公问：“此地何处？”湘子曰：“此蓝关耳。”公嗟叹久之，乃曰：“事固有数如此，吾为汝足前日之句。”诗曰：
一封朝奏九重天，夕贬潮阳路八千；
本为圣朝除弊政，敢将衰朽惜残年。
云横秦岭家何在？雪拥蓝关马不前，
知汝远来应有意，好收吾骨瘴江边。
乃与湘至蓝关傅舍中宿焉，公方信湘之言不诬也。是夜公与湘论往来之事，修真其道，公深悦服。次日湘辞行，出药一瓢与公曰：“服一粒，可以御寒暑。”公恍然。湘曰：“公不久即西归，不惟无恙，且将复用于朝。”公曰：“此后复有相见之期乎 ？”湘曰：“前期未可知也。”乃飘然而逝，后复度文公仙去。