豆瓣短评实时抓取
服务端长跑程序 · 自动监控豆瓣短评动态，辅助内容公正性巡查
Nov 2025 · 已完成
项目背景
豆瓣短评区存在大量刷分、控评行为，人工巡查效率极低。本工具作为服务端后台程序，持续抓取指定影视条目的新增短评和用户历史，为后续自动投诉、数据分析等流程提供稳定的数据来源。
功能特性
| 功能 | 说明 |
|---|---|
| 实时短评抓取 | 定时轮询指定条目，捕获新增 1-2 星短评及全量短评流 |
| 用户历史追踪 | 抓取疑似刷分账号的历史评分记录，提供溯源依据 |
| 多条目支持 | 配置多个豆瓣条目 ID，统一管理，并行巡查 |
| 结构化存储 | 结果写入本地 JSON / CSV，便于下游脚本直接消费 |
| 服务端常驻 | 设计为后台守护进程，可部署到服务器长期稳定运行 |
技术栈
- Python 3.x — 核心运行时
- requests / httpx — HTTP 抓取
- schedule — 定时任务调度
- JSON / CSV — 轻量本地存储
快速开始
# 安装依赖
pip install -r requirements.txt
# 配置条目 ID 和 Cookie（见 config.json）
cp config.example.json config.json
# 启动后台采集
python main.py配置说明
编辑 config.json：
{
"subjects": ["36990145", "35267208"],
"cookie": "your_douban_cookie_here",
"interval_minutes": 30
}subjects：豆瓣条目 ID 列表cookie：登录态 Cookie（用于访问更多历史数据）interval_minutes：轮询间隔（分钟）
典型应用场景
- 配合「豆瓣自动投诉」模块，形成「抓取 → 识别 → 投诉」完整闭环
- 独立运行，对外提供结构化数据供人工复核或可视化分析
Last updated: 2026-03-02
