网站内容采集：怎样把操作过程写清楚
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /49e6bd216bf7.html
📄
网站内容采集：怎样把操作过程写清楚
把网站内容采集的操作过程写清楚，核心是让另一个人按步骤执行后能得到同样结果，并在出错时知道查哪一步。写法不是罗列工具按钮，而是按“目标—输入—动作—输出—异常”五段记录，每段都留下可核对的证据。下面用一个假设例子说明具体写法，例子中的数据均为虚构。
先定采集目标与边界，再写步骤
操作过程写不清楚，多数不是文笔问题，而是目标没定。动笔前先回答三件事：采集哪些栏目、采集哪些字段、采集结果交给谁用。假设某团队要采集一个公开的产品目录页，目标是每天把产品名称、型号、价格、更新时间四项写入内部表格。边界要写明：只采列表页，不进详情页；只采公开页面，不登录、不绕验证。边界写进文档开头，读者才知道哪些步骤可以跳过。
常见错误是把“采集这个网站”当成目标。这种表述无法判断完成与否，也无法判断某一步是否必要。目标必须落到字段和范围上。
把操作拆成可复现的编号步骤
步骤要写成祈使句，一步一个动作，并注明每步的输入和预期输出。仍用上面的假设例子：
- 打开目标列表页，确认页面能正常显示，记录当时的页面标题和访问时间。
- 保存一份页面快照到本地，文件名用“日期+栏目名”，作为后续比对的基准。
- 在快照中定位产品条目的容器，记录容器的标签与层级路径，例如
<ul class="list">下的每个<li>。 - 在单个条目内分别定位名称、型号、价格、更新时间四个字段，逐个记录其标签或属性。
- 用一条条目试跑，人工核对四个字段是否与页面显示一致。
- 确认无误后再对整页运行，导出结果并保存原始记录。
- 抽查前五条和后五条，与页面逐条比对，记录差异。
每一步都要写清“做到什么程度算完成”。第3步的完成标准是能稳定选中全部条目，而不是“大概找到了”。第5步的完成标准是四个字段全部一致，缺一项就不进入下一步。
记录判断依据，而不是只记结论
操作过程里最容易被省略的是判断依据。写“选择正确的容器”没有用，要写“该容器包含本页全部产品条目，且不包含导航和页脚链接”。判断依据要能被验证：换一个页面，读者用同样的依据能判断自己选对了没有。
字段定位也要写判断依据。例如价格字段的识别依据是“条目内唯一带货币符号的文本”，而不是“看起来像价格”。当页面出现促销价和原价两个数字时，这条依据就会暴露歧义，读者才知道需要补充规则：取哪一个、按什么顺序取。
常见错误是把工具默认行为当成判断依据。默认值会随版本变化，写进文档后无法核对，也无法解释结果为什么和上次不同。
把异常和检查项单独列出来
一份能用的操作文档，异常部分往往比正常步骤更有价值。仍以假设例子说明，可以列出这些检查项：
- 条目数量与上次快照相比是否突变。数量骤减可能是页面结构变化，也可能是加载未完成，两者处理方式不同。
- 某个字段是否整列为空。整列为空通常是定位依据失效，而不是该字段真的没有数据。
- 价格字段是否出现非数字字符。出现时先记录原值，不要直接清洗，否则无法回溯。
- 页面是否出现登录提示或验证提示。出现时应停止并记录，不要尝试绕过。
这里要区分“可能原因”和“已经定位的原因”。条目数量骤减只是现象，可能是结构变化、可能是加载不全、也可能是页面本身调整了展示条数。文档里应写“先比对快照确认是哪种”，而不是直接断言是反采集机制。断言错了，后续排查会走偏。
用一份最小交付物检验是否写清楚
写完后做一次检验：把文档交给没参与过的人，只给目标和这份步骤，看他能否独立跑通一次，并说清每一步在做什么。如果他卡在某一步，或跑出的结果与你的不一致，问题就在那一步，回去补输入、判断依据或检查项。
检验还要覆盖失败场景：故意用一个字段缺失的条目试跑，看文档是否说明了此时该记录什么、继续还是停止。能处理失败的文档，才算把操作过程写清楚。
下一步可以直接做一件事：拿你现有的采集流程，按上面的五段结构重写一遍，先补齐“判断依据”和“异常检查项”这两块，再用一次实际运行验证。
