Xenu
Xenu 是一款对 SEO 十分重要的蜘蛛爬行模拟工具。它是英文软件，但支持中文页面，使用很简单。
其界面非常简洁，用户输入一个网址，通常是网站的首页，点击“OK”按钮，这个软件就能从所输入的网址顺着链接爬行到其他网址。所以使用 Xenu 可以方便地检查网站内部链接可爬行性、是否有错误链接、页面是否报错等，如图 12-1 所示。
图 12-1 Xenu 软件只需要非常简单的设置
Xenu 界面有几个可选的参数。左上角的选择框（Check external links）是让用户选择是否检查外部链接，如果只是想检查本网站链接，则不用选择。
下面有两个文本框，第一个在爬行时把某种特定 URL 当作内部链接（Consider URLs beginning with this as 'internal'）。比如你有几个网站链接在一起，Xenu 可以从输入的第一个 URL 开始，同时爬行检测到其他网站。第二个文字框是排除某些 URL（Do not check any URLs beginning with this），比如网站上一些功能链接、带脚本的链接等。
Xenu 运行之后，在其给出的结果中可以看到哪些链接是有错误或打不开的，如图 12-2
中标为 not found 的几处，在软件中是以红色显示的，所以一目了然。
图 12-2 Xenu 软件运行后显示的有问题链接
再认真的站长也可能会发生错误，网站稍大一点，人工就很难检查到这些错误链接了，软件却可以轻易发现。
Xenu 还可以发现一些你并不想让搜索引擎发现和爬行的链接，如图 12-3 中所示的这些动态 URL，是网站上的功能链接，用来发表评论。
图 12-3 动态 URL
这些链接被收录也没什么实际价值。人工看页面时不容易全部发现，用 Xenu 运行一遍，就可能看到一些奇怪的、并不想收录的 URL，然后通过页面链接调整或直接用 robots 文件禁止搜索引擎抓取。
Xenu 运行完毕后，会把所有错误链接以列表形式呈现，供你参考，并且生成一个网站地图。还有一个很有用的功能是，Xenu 可以按抓取的URL 生成XML 网站地图文件。 Xenu 是一个检查网站内部结构和链接的常用有效工具。只有 Windows 版本，下载
地址请参考本书补充资源页面。
颇受欢迎的网站模拟爬行抓取工具还有 Screaming Frog（网址请参考本书补充资源页面）、
Lumar（原名 DeepCrawl，网址请参考本书补充资源页面）等。几个综合 SEO 工具也有网站爬行功能，如 Semrush、Ahrefs、Moz 等。
本文档为站内渲染。原始文件本地路径：saas/source/seo-llm/SEO实战密码-markdown-第12章-SEO-工具-Xenu-_index-1cc67c.md（仅本地保留，不入库不部署）