四段管线
- 采集:RSS、公告页、社媒关键词、应用商店评论;
- 去重:URL 规范化 + 正文 SimHash,转载与洗稿先去一层;
- 相关性:轻量模型二分类(是否与监控主题相关),输出 yes/no + 一句理由;
- 摘要与告警:按事件聚合后生成摘要;命中告警词(降价、下架、融资、事故)单独推送。
增量处理省钱的三个点
- 只处理新增:按 URL + 内容哈希建索引,见过的直接跳过;
- 先规则后模型:关键词命中才送模型,能让调用量降一个数量级;
- 长文先截摘要:正文只发前 1500 字 + 结论段,绝大多数相关性判断用不到全文。
相关性判断的提示词
systemtext
判断下面这条内容是否与「监控主题:<填写>」相关。
只输出 JSON:
{"relevant": true/false, "reason": "一句话", "event_type": "价格/产品/融资/人事/事故/其他"}
摘要里保留原文链接与发布时间。模型判断可能出错,保留出处让人能快速回溯。
常见问题
每天几千条内容,全量调用模型成本高吗?
不要全量调用:先做去重与关键词规则过滤,只把候选送轻量模型做相关性判断,调用量通常能降一个数量级。
监控摘要要保留哪些信息?
原文链接、发布时间、事件类型;摘要本身可以很短,但出处不能省。