赖布衣被封为国师后。一代国师赖布衣之名，就因此传遍了全国。不料树大招风，宰相秦哙竟起了邪念。
一日，秦侩在早朝后，传令赖布衣到相国府中见面，并以酒宴款待，席间要求赖布衣尽快为圣帝寻得龙穴，等到事成之后，再通知他前往勘察。赖布衣一听便知此人有篡夺王位的野心，但由于秦侩在朝中权大势大，遂不好当面拒绝。秦侩心想，以目前他在朝廷中的地位，没有任何人敢与他作对，所以预料赖布衣也必将归顺于他。次日一早，便亲自带着赖布衣到祖先的墓地，观看附近的风水。
赖布衣看这祖坟坐落于五星聚集的祥地，而且龙脉自金华峰而来，心知这儿的确可发为皇帝，只可惜被白鹤寺及东狱庙压住了龙气，所以最多只能发出丞相命。赖布衣本想直说，但想到秦侩并非善类，若全盘托出，恐怕会引起乱事。
想到这里，赖布衣再四处观望了一会儿，看见前面远山有一尖峰，形状如同一支金刀，于是赖布衣告诉秦侩：“丞相大人，此山为杀头山，且看前面山形，正如一把尖刀，向着此地杀过来。”
秦侩听完，脸色大变。心想：从前的地理师们，总是称赞此地的风水极佳，是个可发为皇帝的佳穴，只有这个民间术士，竟说 此为杀头山。
赖布衣瞄了秦侩一眼，又继续说：“此山原本是座好山，只是风水与后人的性情相关，心地善良者，自可避免杀头一劫，进入寺庙安享晚年；心地邪恶者，则将被皇帝砍头 处死。不过，依我看丞相大人是位善心之士，应不会有此下场。”
秦侩愈听愈生气，本想立刻了断赖布衣的性命，却又怕消息走漏，便暂且不动声色，籍称时候已晚，便返回京城。回到相府后，秦侩立刻命令府上的两名护卫，当晚一定要把赖布衣杀死，已绝后患。
这两名护卫，一个叫做牛江，一个叫做张进，两人都是武功高强的杀手。这一夜，两人分持利刃，朝着赖布衣的住处飞奔而来。
当晚，赖布衣觉得心神不宁，辗转难眠，只好下床点烛夜读。忽然，他瞥见窗前有两个黑影闪过，于是赶紧躲入床底。
两名杀手一进门，便大声叫道：“赖布衣你还是乖乖的出来吧！免得咱们爷俩弯身去取你的人头。”
赖布衣吓得浑身发抖，正在不知如何是好之时，听到其中一个杀手说：“张进，听说赖布衣是天下知名的地理师，我们现在若是请他指点，他一定会答应，你看如何？”
张进说：“丞相的作风你又不是不知道，今天你所说的话，不怕我回去告你一状吗？”
牛江一听张进这么说，便举刀与张进厮杀，而赖布衣仍是动也不敢动一下。突然，“啊！”的一声，一颗人头落在赖布衣的眼前，吓得赖布衣差点昏了过去。
这时，胜利者向床底的赖布衣说：“大师，您可以出来了，牛江正等着你的指点。”
赖布衣这才松了一口气，慢慢的爬了出来。除了感谢牛江的救命之恩外，并稍加指点其治家之道。之后，便收拾行李，准备连夜逃走，而牛江自愿相随保护，赖布衣欣然允诺。
途中，赖布衣问牛江，是谁派他们来的？牛江回答是丞相大人。赖布衣心想大事不妙，秦侩若获知张进被杀之后，必会派出大队兵马追来，应该改走山路，以躲避兵马的追杀。
在牛江领路之下，他们绕着蜿蜒的山路而行，才刚爬过一个山头，后面就已经传来兵马搜寻的声音。
牛江说：“大师，追杀者个个身强体壮，我们是敌不过他们的。依我看，最多再半个时辰，追兵便会赶上，倒不如我们先找个藏身之所，等追兵走过，我们再出来。”
眼看这荒山野地，既无树林，又无山岩，哪里有避身的处所呢？赖布衣心里这么想。
突然，牛江灵机一动，告诉赖布衣：“我知道前面不远处，有一个猪居住的洞穴。”
说完，便带着赖布衣往该处走去。那个洞穴口上杂草丛生，两旁乱石围绕，果然是个藏身的好地方，走近一看，里面躺着一只肥壮如牛的山猪。
牛江拿起刀，与山猪搏斗，不久山猪便负伤逃走。赖布衣见此洞只能容纳一人，正不知如何是好时，牛江连忙对赖布衣说：“大师，您留在世上，对世人的贡献比较大，区区一个牛江算不了什么。您赶紧躲进去吧！只希望国师在逃生之后，能为我捡拾骨骸，择地安葬。”
话没说完，牛江便飞也似的离去，赖布衣阻拦不了他，只好先进入洞穴中，再做打算。
不一会儿，官兵果然路过此地，但并未留意在乱草之中的洞穴，继续向前搜索。牛江明知随后便会赶到，但恐怕官兵会发现赖布衣，只得牺牲自己，来引开官兵的注意力。果然走不到半里，牛江便被官兵追上。
数百位官兵将牛江团团围住，令身手矫健的牛江插翅难飞。牛江与众士兵苦战了几回合，终究敌不过对方的人多势众，便当场持刀自刎，惨死在荒山野地中。
此时大队兵马都以为赖布衣已先逃跑，便继续向前追赶。当一切归于平静之后，赖布衣走出洞穴，看见不远处，牛江的尸体已血肉模糊，令人惨不忍睹，赖布衣立刻放声大哭，说：“恩公啊！你我素昧平生，而你却能仗义相救，不但牺牲了自己，还曝尸在这山谷之中，我该如何报答你的救命之恩呢？”在哭了一阵之后，赖布衣背起牛江的尸首，决定为他寻觅佳地，替他安葬。
赖布衣四处张望，想找出一条逃生之路。突然，他发现这座黄家山，有龙盘虎踞的山形；再望向对山，险恶陡峭，俨然是一头牛俯卧的姿态。他大叫一声说：“踏破铁鞋无觅处，得来全不费功夫，此处正是难得的佳地，就将恩公埋葬在此吧！预料不出三年，牛家必将出现杰出的将相之才。”
赖布衣将牛江安葬好之后，一路躲躲藏藏，继续逃亡。此时，他将名字赖凤冈改为赖布衣，后人称他为布衣大师，即是从此开始的。
