网站木马扫描 - 抓取索引和排名怎么区分：一份可执行清单
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c7e2222a1cbb.html
📄
网站木马扫描 - 抓取索引和排名怎么区分：一份可执行清单
抓取、索引和排名是三个先后不同、判断标准也不同的环节。抓取是搜索引擎发现并读取网址；索引是把读取到的内容存入可供检索的库；排名是用户搜索某个词时，页面出现在结果中的位置。区分它们的关键不是看流量多少，而是分别检查“能不能被抓”“有没有被收录”“搜词时在不在”。下面这份清单按顺序查，每一项都写明查什么、怎么查、结果说明什么，适合多人协作时逐项交付、减少返工。
第一项：查抓取，确认搜索引擎是否来过
查什么：目标网址是否被搜索引擎的抓取程序访问过，返回状态是否正常。
怎么查：在服务器访问日志中筛选搜索引擎的 User-Agent，观察目标 URL 的请求记录和 HTTP 状态码；如果站点已接入搜索资源平台，也可查看抓取统计中的抓取频次与响应状态。
结果说明什么：日志里完全没有该 URL 的记录，说明可能还没被抓取，问题在发现或入口层面；有记录但状态码是 404、500 或 403，说明抓取被阻断，需要先修状态和权限；有记录且返回 200，只说明抓取成功，不代表已被索引。
第二项：查索引，确认页面是否进入检索库
查什么：目标网址是否已被收录，收录的是哪个版本。
怎么查：用站内限定检索，例如在搜索框输入 site:你的域名 再加页面特征词，看目标页是否出现；同时用页面完整标题做精确检索，观察返回的是不是目标 URL。
结果说明什么：搜不到目标 URL，说明尚未索引，或已被移除；搜到的是其他 URL，说明存在重复内容或规范网址指向别处，应检查 rel=canonical 与站内链接指向；搜到目标 URL 但摘要过时，说明索引的是旧版本，属于更新问题，不是抓取失败。
第三项：查排名，确认具体词下的位置
查什么：在明确的关键词、明确的地区与语言条件下，目标页面出现在第几位。
怎么查：固定搜索词、地区、语言和设备类型，逐页翻看结果，记录目标 URL 首次出现的位置；多人协作时约定同一套条件，避免有人用手机、有人用桌面，有人带地区、有人不带。
结果说明什么：目标页出现在前几页，说明已索引且在该词下有排名；搜遍结果都不出现，但站内检索能搜到，说明已索引但该词无排名，问题在相关性或竞争，而不是抓取或索引；同一词不同人查到的位置差异大，先核对查询条件是否一致，再判断排名变化。
第四项：用对照表快速定位问题环节
- 日志无抓取记录、站内检索也搜不到：优先查入口与发现，如内链、站点地图、robots 规则。
- 日志有抓取、站内检索搜不到：优先查索引状态，如
noindex、规范网址、内容质量与重复问题。 - 站内检索能搜到、目标词无排名：优先查关键词与页面主题是否匹配，以及同词竞争页面情况。
- 三项都正常但流量下降：先确认查询条件是否变化，再对比其他词的排名，不要直接归因于抓取或索引故障。
这套对照的判断依据是：抓取看日志，索引看站内检索，排名看固定条件下的搜索结果。三者不能互相替代，任何一项缺失都只能说明该环节的问题，不能推断其他环节也正常或异常。
第五项：协作交付时的检查项
多人协作最容易返工的地方，是把“没排名”直接写成“没收录”，或把“没抓取”写成“被惩罚”。交付前逐项确认：日志证据是否附上具体时间与状态码；站内检索是否记录了查询词与结果；排名记录是否写明地区、语言、设备与查询日期；结论是否只对应所查环节。假设某页面日志显示搜索引擎昨日抓取并返回 200，站内检索能搜到该 URL，但目标词翻十页都不见，那么正确结论是“已抓取、已索引、该词无排名”，下一步应检查页面主题与该词的匹配度，而不是去改 robots 或提交收录。若站内检索搜不到，才应转向索引层面的排查。
下一步：选一个目标页面，按上面五项各查一遍并记录证据，再决定优化动作落在抓取、索引还是排名环节。
