链接质量检测，怎样判断采集是否遗漏
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0d6c7a3c5c87.html
📄
链接质量检测，怎样判断采集是否遗漏
判断采集是否遗漏，不能只看“抓到了多少条”，而要把采集结果与一个可核对的参照集合做比对：先确定目标范围内应有多少条链接，再检查实际结果缺了哪些、缺在什么条件上。链接质量检测中的“采集”通常指抓取页面上的链接、记录链接指向和锚文本等属性；遗漏就是目标范围内本该出现的链接没有被记录。判断方法不是猜，而是建立参照、分层抽样、复核差异。
先明确“应采范围”，否则无法判断遗漏
遗漏是相对于范围而言的。同一个页面，如果只要求采集正文内指向站内的链接，那么导航、页脚、广告位里的链接没采到不算遗漏；如果要求采集全页所有可点击链接，它们就是遗漏。开始比对前，先把下面几项写清楚：
- 采集对象：是页面上的
<a>元素，还是包含按钮、脚本跳转在内的全部可点击目标。 - 链接范围：站内、站外、指定子域，还是全部。
- 去重规则：同一目标地址出现多次，算一条还是多条；带跟踪参数的地址是否归一化。
- 记录字段：目标地址、锚文本、所在页面、出现位置、采集时间。
范围没定，后面的数量对比就没有意义。判断遗漏的第一步不是跑工具，而是把这份范围说明写成可执行的筛选条件。
用独立参照集合做比对，而不是只信采集器自己的统计
采集器报告“本次采集 5000 条链接”，只能说明它记录了多少，不能说明漏了多少。要判断遗漏，需要另一个来源作为参照。可用的参照包括：
- 站点地图或栏目页清单：适合核对“哪些页面被访问过”，但不等于页面内的链接都被采到。
- 页面源码直接检索：对少量样本页，用浏览器查看源码或保存的 HTML，人工数出目标链接，与采集结果逐条对照。
- 站内搜索或后台导出：如果有可导出的链接清单，可作为交叉参照，但要注意它与采集口径是否一致。
- 日志或抓取记录：能反映采集器实际请求过哪些地址，适合判断“没采到”还是“采到了但没入库”。
参照集合不必覆盖全站，但必须覆盖不同模板：首页、列表页、详情页、分页、专题页各取若干。模板之间的链接结构差异，往往正是遗漏集中出现的地方。
分层抽样，定位遗漏发生在哪一层
全量逐条比对成本高，实际诊断通常先抽样。假设某站点有 5 类页面模板，每类抽 10 个页面，共 50 页，逐页记录目标链接数并与采集结果对比。如果详情页比对一致、列表页分页部分缺失，问题就集中在分页链接的识别或翻页逻辑上。这种对比只用于定位方向，不能据此推算全站遗漏比例。
比对时按下面顺序记录，避免把不同问题混在一起：
- 页面是否被采集器访问到。没访问到，属于抓取覆盖问题，不是链接解析遗漏。
- 页面被访问后，目标链接是否出现在采集结果中。
- 出现的链接，目标地址、锚文本、位置字段是否完整。
- 同一链接重复出现时，去重规则是否按预期执行。
第 1 步和第 2 步的结论不同，处理方向也不同。把“页面没抓到”当成“链接漏采”，会修错地方。
常见遗漏原因与对应检查项
同一现象可能有多个解释，不要一看到数量偏少就断定是解析规则写错。可以按下面几类逐一排查：
- 解析范围限制：只解析了某个容器内的链接，容器外的链接自然不在结果里。检查解析选择器覆盖的 DOM 范围。
- 动态渲染：链接由脚本在页面加载后插入，采集时未等待渲染完成。检查采集快照与浏览器实际渲染结果的差异。
- 编码与转义：地址中含有特殊字符或转义形式，解析后被丢弃或改写。检查原始 HTML 中的写法与入库后的值。
- 去重过度：归一化规则把本应保留的不同链接合并成一条。检查归一化前后的地址对照。
- 分页与加载更多：只采了首屏，后续内容未触发。检查分页参数或滚动加载是否被执行。
- 入库或导出环节丢失：采集日志里有、结果文件里没有。检查中间环节的记录数。
每一项都要有可核对的证据，例如原始 HTML 片段、采集日志条目、入库前后条数。只有现象、没有证据，无法区分是采集遗漏还是统计口径差异。
把判断结果落到可验收的结论上
完成比对后，结论应当能回答三个问题：遗漏发生在哪类页面、哪类链接、哪个环节；影响范围是抽样中的个别情况还是整类模板；修复后用什么标准验收。验收标准可以设为：同一批抽样页面重新采集后，目标链接与参照集合逐条一致，且字段完整。达不到就继续缩小范围定位，而不是用“大概齐了”结束。
下一步，选 3 到 5 个不同模板的页面，保存其源码快照，人工列出目标链接，再与采集结果逐条对照。这份对照表就是后续修复和验收的依据。
