话说开春后，达头可汗就迫不及待，对隋朝边境发起了偷袭，抢夺隋朝百姓的物资。西突厥可以说是苦熬了一个冬天。达头可汗怕隋朝派出大军来攻击自己，所以只领五千兵马前来偷袭。杨坚听到达头可汗前来犯边，想派大将前去剿灭。但是他一下子发现自己已经无人可用。韩擒虎和史万岁已死，高颎和贺若弼已废，唯一可用的大将只有杨素了，可如今杨素功劳太大，已经赏无可赏了。
这次达头可汗犯边，杨坚觉得规模不大，只是一场小范围的偷袭，便派代州总管韩洪率领蔚州刺史刘隆、大将军李药王迎战。韩洪率领的隋军在恒安遇上了突厥抢掠大军，双方便展开了大战。韩洪率领的三千隋军，面对着五千被饿疯了的突厥骑兵，一下子就被包围了。隋军寡不敌众，韩洪佯装投降，突厥人的包围圈，稍稍放松。韩洪趁机率领士兵突围，李药王一下子也反应过来，辅助大帅突围。刘隆反应最慢，导致大军没能一下子冲出包围圈，经过几次突围，才逃脱出来，此时士兵已经死伤大半。
战报传到了杨坚手里，杨坚看后大怒，大隋已经很久没打过败仗，韩洪率军拒敌竟然大败。杨坚下旨将韩洪跟李药王削职为民，刘隆处死。杨坚忽然想起杨约曾经上书，怀疑李靖窝藏突厥刺客，因此将李靖也贬为庶人。
李靖怎么都没想到，哥哥打了败仗，自己竟然受牵连；虽然自己没有真和李家断绝关系，但基本都不往来了。现在自己被贬为庶人，连基本的生活都维持不下去了。李靖于是找红拂商量。李靖道：“夫人，我现在连官差都丢了，今后该怎么生活？”红拂道：“要不我们去投靠爹爹，让他给你找一份事做。”李靖道：“好的，我现在没有更好的出路，就去投靠岳父。”于是李靖带着红拂和他们的儿子李德謇，前往太白山投靠孙思邈。
孙思邈见到他们便问道：“出尘，你们怎么来了？”张出尘道：“夫君的大哥打了败仗，他被牵连，贬为庶人。如今想找爹爹谋一个安身之处。”孙思邈道：“这个倒不难，你们去普陀山。那里远离朝堂，位于海上，开阔自由，物产富饶。”李靖道：“岳父，我们就去那里。”
数日后，李靖一家便来到了普陀山。刘海涛和秦木棉接待了他们一家三口。秦木棉道：“出尘妹妹，我们听闻你们要来，特别高兴，都盼着你们早点来。这个地方是偏僻了点。但这里宁静秀美，物产丰富，平日里只需出海打打鱼，吃喝就不愁了。”张出尘道：“没想到这里这么好，不过出海打鱼，我们夫妇倒是不会。”秦木棉道：“这个不要紧，我给你找一个打鱼能手，带你们去打几回，就学会了。”刘海涛道：“要是缺什么尽管开口，只要道观中有，我就给你们送来。”秦木棉道：“这座岛暂时由我们夫妻俩管着，这里是我们孙家的地盘。现在我带你们去住的地方，那是为你们建造的新家。”
他们离开了小码头，来到不远处的一个村落，里面新建了一栋木屋，就是为他们准备的。村长张仲坚见他们来了，也迎了过来。秦木棉道：“这就是这个村的村长张仲坚。我要介绍给你的打鱼人，就是他。到时候他出海打鱼，你们跟着去就是，多看几回就学会了。”张仲坚道：“两位仙长这是来新人啦？”秦木棉道：“这就是几日前我跟你说的，我的妹妹张出尘和妹夫李靖。现在就交给你关照了。”张仲坚道：“仙长请放心，我一定会好好关照他们。”说完她带着刘海涛就回道观了。
张仲坚道：“欢迎你们来到普陀山，以后有什么困难尽管找我。我们这个村子人不多，都是当时跟着两位仙长来到这里的。”李靖道：“我们今后就不客气了，有什么困难就直接找你。到时还希望你多多关照。”张仲坚道：“好说，好说。”从此李靖一家三口，便在此定居了下来。李静平日里打打鱼读读兵书，红拂平日里种种菜织织毛衣，过得非常惬意。
某日，张仲坚又来找李靖夫妇，手里还提了一坛酒和几斤羊肉。李靖见了说道：“村长，我家你尽管来，干嘛还提着酒肉？”张仲坚道：“李兄何必这么见外？还叫什么村长？”李靖道：“不叫村长叫什么？”张仲坚道：“你和嫂子都比我大，干脆叫我三弟得了。”李靖一听就明白，这是要和自己夫妻俩攀关系的。不过近些日子，多亏了他事事都关照自己，自己才能这么快在此安居下来。李靖道：“既然如此我就不客气了，就称呼你张三弟。”张仲坚道：“理应如此，这些羊肉就叫嫂子拿去烧了，我们兄弟俩好好喝上两碗。”红拂听后便将羊肉拿进去烧了，顺便再做几个小菜。一会三人就坐在一起吃喝闲聊起来。
李靖道：“这座小岛这么好，怎么只有这么一点人住在岛上？”张仲坚道：“现在这座岛有两位仙长管着，不是别人随便就能住到这个岛上来的。我们当时跟仙长一起上岛，都是至少花了一百两黄金的。现在再想上岛，不花个三五百两黄金是不行的。”李靖道：“怎么会这么贵？”张仲坚道：“在这个岛上基本吃喝不愁，得病了，还可以找两位仙长免费医治。在岛上活个七八十岁，不是轻而易举吗？”李靖道：“难道这里成了化外之地，朝廷不管？”孙仲坚看向张出尘说道：“我们刚来那一年，松江县令来过，他见过两位仙长之后，就走了。从此这个岛，官兵不再来了，什么税都不用交了。”这时李靖也看向了红拂，心想：“岳父真厉害，这不是等于朝廷将整座普陀岛，都划给岳父做道场了。难怪三弟一个劲跟我们夫妻俩，搞好关系。”张出尘笑道：“你们不用看着我，我什么都不知道，我一年到头也没见过爹爹几回。”