WujiSearch/1.0
无界搜索爬网蜘蛛
无界搜索（WujiSearch）用来发现并抓取网页、建立搜索索引的收录爬虫。
它是什么
无界搜索的索引不是凭空来的。这个蜘蛛会顺着你站点的 sitemap、robots.txt 和页面里的链接去发现网页，把内容抓回、建立索引，于是别人搜得到你。
它只对公网合规、且愿意被收录的站点工作；命中黑名单、或明确用 robots 拒绝的地址，不会被抓取，也不会进入索引。
身份标识（User-Agent）
每一次抓取请求里，它都会带着下面这个 User-Agent 自报家门：
Mozilla/5.0 (compatible; WujiSearch/1.0; +https://wujiesearch.com/bot)
站长可以在服务器访问日志里用 WujiSearch 这个关键字，把无界搜索的抓取和其它爬虫区分开；想针对它做特殊处理（比如单独的抓取策略）时也用这个名字。
抓取规矩
遵守 robots.txt
会读取并遵循你站点声明的抓取指令（Disallow、Sitemap 等），被拒绝的路径不去碰。
不碰后台与接口
/api/、/admin.php 以及登录/授权页都不抓 —— 那些对搜索引擎没有意义，抓了也是 401/400。
尊重 noindex
对带 noindex 或 X-Robots-Tag: noindex 的页面，只读取、不建立索引，不会让它出现在搜索结果里。
有节制
单次抓取有超时与体积上限，按节奏分批进行，不会猛刷你的服务器。
抓取参数
下面是它实际遵守的节奏，来自线上配置（改配置时这里会同步更新）：
| 项目 | 取值 | 说明 |
|---|---|---|
| 单次抓取超时 | 8 秒 | 一个页面最多等 8 秒，超时放弃 |
| 单次抓取上限 | 256 KB | 只读前 256 KB，足够拿到正文 |
| 每批处理 | 6 个 URL | 一批抓 6 个，节奏平稳 |
| 全站收录发现上限 | 300 个 URL | 单次「全站收录」最多发现 300 条地址 |
| sitemap 文件上限 | 30 个 | 最多读 30 个 sitemap 文件 |
| 单次发现预算 | 90 秒 | 超过就停止，把已拿到的交出去 |
站长如何被收录
- 提交站点：去 提交站点 把你的站点或 sitemap 告诉我们，审核后会安排收录。
- 提供 sitemap：在
sitemap.xml里列出网址，或在robots.txt用Sitemap:指令声明，蜘蛛会优先读它。 - 让页面可抓取：确保重要页面没被 robots 屏蔽、也没标
noindex。
常见问题
我的站点为什么还没被收录？
收录遵循 robots 与 sitemap，并按节奏分批进行，不是一提交就立刻出现。提交站点能加速被发现；你也可以在无界搜索里搜你站点的内容，触发「按搜索收录」。
能屏蔽无界搜索吗？
可以。在你的
robots.txt 加上 User-agent: WujiSearch 然后 Disallow: /，或用 X-Robots-Tag: noindex 阻止索引，蜘蛛都会遵守。抓取频率高吗？会压垮我的服务器吗？
不会。单次抓取有 8 秒超时、256 KB 上限，并按每批 6 个、跟随服务器节奏进行，不会对站点造成明显压力。
无界搜索 · 提交站点 · 无界圈 · robots.txt · sitemap.xml · 登录