李白归家后，暂息远游之念，与许夫人躬耕陇亩，间或栖于白兆山。闲暇时经常携一小书僮游山，带足干粮，在深林山洞中一住数日。看天地自然，风云变化，奇花异草，飞禽走兽。这一天，正在山中远眺，忽见人影晃动，近得前来，原来是两个樵夫。二人见了李白甚是惊讶，以为是仙人，因为如此深山，向无人迹，便与李白攀谈。
天色渐晚，樵夫便留在山洞，李白取清泉水，煮饭款待樵夫。少倾，明月升起，林中无比幽静。二樵夫问道：“先生何故一人在深山，不寂寞吗？环境虽好，狼虫虎豹尤多。先生不害怕吗？如今人多往朝中求官，先生却爱深山，着实令人不解？”
李白哈哈大笑，你自不知这深山的好处，且听我说——《山中问答》
问余何意栖碧山，笑而不答心自闲。桃花流水yao然去，别有天地非人间。
樵夫听了，兀自惊叹，明日下山，不知李白来历，却在众人中宣讲起来。说山中有一高士名李白者，不惧猛兽，能施道术。来无踪，去无影。是我二人亲见，云云。
李白过些日子回家，闻听此言，大笑不止也没当回事。谁知此言越传越讹，最后传到一人的耳朵里。那人是谁，正是许老丞相的族人许三，当地一泼皮无赖。李白未来之前，他日夜计算着相国府的家产，谁知许丞相招了李白作女婿，希望落空。正心中嫉恨，便借此谣传，给当地长官裴长史写了一风检举信，把李白描绘成了一个剪纸为马，撒豆成兵的妖道，要求立即抄拿，否则会危害国家安全。
裴长史虽然也有些文才，但处理事情却有些胡涂，得信后即传李白。许夫人很是着急，李白却坦然自若，自信没做什么坏事，便去府衙见裴长史。谁知裴长史不听解释，定要问罪。亏得许相国出面，才算保释回家，但要写书认错。于是许府上下无人不埋怨。许相国本来指望招赘李白，一来好守家立业，二来好养老送终。谁知李白终日游逛，也不求功名，只是好神仙道术，早已不乐。这回发生了这件事，心中更是不满。李白正心中懊恼，又遭众人白眼，如何忍受的下去。也不听许夫人的劝解，思前想后，夜不成寐，便点灯提笔，连夜写书一封。心想，严重些顶多离开此地，也没什么大不了的。岂能受这些俗人的腌脏气。或许裴长史见书爱才，也未可知。
第二天便命人将书送往裴府，裴长史心中高兴，便拆书看：《上安州裴长史书》
白闻天不言而四时行，地不语而百物生。白人焉，非天地也，安得不言而知乎？敢剖心析肝，论举身事，便当谈笔，以明其心。而粗陈其大纲，一快愤懑，惟君侯察焉。白本家金陵，世为右姓。遭沮渠蒙逊难，奔流咸秦，因官寓家。少长江汉，五岁诵六甲，十岁观百家。轩辕以来，颇得闻矣。常横经籍书，制作不倦，迄于今三十春矣。以为士生则桑弧蓬矢，射乎四方，故知大丈夫必有四方之志。乃杖剑去国，辞亲远游。南穷苍梧，东涉溟海。见乡人相如大夸云之事，云楚有七泽，遂来观焉。而许相公家见招，妻以孙女，便憩于此，至移三霜焉。曩昔东游维扬，不逾一年，散金三十馀万，有落魄公子，悉皆济之。此则是白之轻财好施也。
又昔与蜀中友人吴指南同游于楚，指南死于洞庭之上，白＊服恸器，若丧天伦。炎月伏尸，泣尽而继之以血。行路间者，悉皆伤心。猛虎前临，坚守不动。遂权殡于湖侧，便之金陵。数年来观，筋骨尚在。白雪泣持刃，躬申洗削。裹骨徒步，负之而趋。寝兴携持，无辍身手。遂丐贷营葬于鄂城之东。故乡路遥，魂魄无主，礼以迁窆，式昭明情。此则是白存交重义也。又昔与逸人东严子隐于岷山之阳，白巢居数年，不迹城市。养奇禽千计。呼皆就掌取食，了无惊猜。广汉太守闻而异之，诣庐亲睹，因举二以有道，并不起。此白养高忘机，不屈之迹也。又前礼部尚书苏公出为益州长史，白于路中投刺，待以布衣之礼。因谓群寮曰：“此子天才英丽，下笔不休，虽风力未成，且见专车之骨。若广之以学，可以如比肩也”。
四海明识，具知此谈。前此郡督马公，朝野豪彦；一见礼，许为奇才。因谓长史李京之曰：“诸人之文，犹山无烟霞，春无草树。李白之文，清雄奔放，名章俊语，络绎间起，光明洞澈，句句动人”。此则故交元丹，亲接斯议。若苏、马二公愚人也，复何足尽陈？倘贤贤也，白有可尚。夫唐虞之际，于斯为盛，有妇人焉，九人而已。是知才难不可多得。白，野人也，颇工于文，惟君侯顾之，无按剑也。伏惟君侯，贵而且贤，鹰扬虎视，齿若编贝，肤如凝脂，昭昭乎若玉山上行，朗然映人也。而高义重诺，名飞天京，四方诸侯，闻风暗许。倚剑慷慨，气干虹霓。月费千金，日宴群客。出跃骏马，入罗红颜。所在之处，宾朋成市。故时节歌曰：“宾朋何喧喧！日夜裴公门。愿得裴公之一言，不须驱马将华轩”。
白不知君侯何以得此声于壤之间，岂不由重诺好贤，谦以得也？而晚节改操 ，栖情翰林，天才超然，度越作者。屈佐＊国，时惟清哉。棱威雄雄，下熠群物。白窃慕高义，已经十年。云山间之，造谒无路。今也运会，得趋未尘，承颜接辞，八九度矣。常欲一雪心迹，崎岖未便。何图谤詈忽生，众口攒毁，将欲投杼下客，震于严威。然自明无辜，何忧悔吝！孔子曰：“畏天命，畏大人，畏圣人之言”。过此三者，鬼神不害。若使事得其实，罪当其身，则将浴兰沐芳，自屏于烹鲜之地，惟君侯死生。不然，投山窜海，转死沟壑。岂能明目张胆，托书自陈耶！昔王东海问犯夜者曰：“何所从来？”答曰：“从师受学，不觉日晚”。王曰：“吾岂可鞭挞＊越，以立威名。”想君侯通人，必不尔也。愿君侯惠以大遇，洞天心颜，终乎前恩，再辱英眄。白必能使精诚动天，长虹贯日，直度易水，不以为寒。若赫然作威，加以大怒，不许门下，遂之长途，白既膝行于前，再拜而去，西入秦海，一观国风，永辞君侯，黄鹄举矣。何王公大人之门，不可以弹长剑乎？
裴长史不但没为李白的恳切所感动，反而心生厌恶。他想：这个李白是怎么回事，虽非妖盗，定也不是个安分守己的良民。我岂能容他在我面前如此猖狂，他谦虚些的话还可原谅。犯在我手上，岂能轻易放过他。
使者见裴长史态度不好，赶忙回府报知。一家人着急，都劝李白去裴府说两句好话。李白见裴长史对自己的书信无动于衷，便知这是个说不清道理的人。大丈夫岂可低三下四的去求人。他打定主意，决定暂离此地，学“姜维避祸”。许夫人深知李白的性情，也不阻拦，只是默默的为李白收拾好行李，并告知李白自己已怀有身孕，希望他过段时间，出去散散心就赶快回来。李白惊喜之外有些怅然，不知该说什么好。他清楚如果裴长史不离开此地，自己恐怕一时半回难回来。无奈，二人只得互嘱保重身体，尔后长亭洒泪而别。