BettaFish（微舆）深度调研报告

输入要求 → 详细分析 → （未来）预测

BettaFish/
├── QueryEngine/                 # 国内外新闻广度搜索 Agent
│   ├── agent.py                 # Agent 主逻辑
│   ├── llms/                    # LLM 接口封装
│   ├── nodes/                   # 处理节点：搜索、格式化、总结等
│   ├── tools/                   # 国内外新闻搜索工具集
│   └── prompts/                 # 提示词模板
│
├── MediaEngine/                 # 强大的多模态理解 Agent
│   ├── agent.py                 # 处理视频/图片等多模态内容
│   └── ...（结构同上）
│
├── InsightEngine/               # 私有数据库挖掘 Agent
│   ├── tools/
│   │   ├── keyword_optimizer.py # Qwen 关键词优化中间件
│   │   ├── search.py            # 数据库操作工具集
│   │   └── sentiment_analyzer.py# 情感分析集成工具
│   └── ...
│
├── ReportEngine/                # 多轮报告生成 Agent
│   ├── agent.py                 # 模板选择→布局→篇幅→章节→渲染
│   ├── core/                    # 模板解析、章节存储、文档装订
│   ├── ir/                      # 报告中间表示(IR)契约与校验
│   ├── graphrag/                # GraphRAG 知识图谱构建与检索
│   ├── renderers/               # HTML/PDF/Markdown 渲染器
│   └── report_template/         # Markdown 模板库
│
├── ForumEngine/                 # 论坛引擎：Agent 协作机制
│   ├── monitor.py               # 日志监控和论坛管理核心
│   └── llm_host.py              # 论坛主持人 LLM 模块
│
├── MindSpider/                  # 社交媒体 AI 爬虫系统
│   ├── BroadTopicExtraction/    # 话题提取模块
│   ├── DeepSentimentCrawling/   # 深度舆情爬取模块
│   └── schema/                  # 数据库结构定义
│
├── SentimentAnalysisModel/      # 情感分析模型集合
│   ├── WeiboSentiment_Finetuned/# 微调 BERT/GPT-2 模型
│   ├── WeiboMultilingualSentiment/# 多语言情感分析
│   ├── WeiboSentiment_SmallQwen/# 小参数 Qwen3 微调
│   └── WeiboSentiment_MachineLearning/# 传统机器学习方法
│
├── SingleEngineApp/             # 单独 Agent 的 Streamlit 应用
├── app.py                       # Flask 主应用入口
├── docker-compose.yml           # Docker 多服务编排配置
└── requirements.txt             # Python 依赖包清单

# 1. 复制环境变量配置
cp .env.example .env

# 2. 编辑 .env 配置 LLM API 和数据库

# 3. 启动所有服务
docker compose up -d

# 1. 创建环境
conda create -n bettafish python=3.11
conda activate bettafish

# 2. 安装依赖
pip install -r requirements.txt

# 3. 安装 Playwright 浏览器驱动
playwright install chromium

# 4. 配置环境变量
cp .env.example .env
# 编辑 .env 文件配置 API Key 和数据库

# 5. 启动系统
python app.py

# QueryEngine 单独运行
streamlit run SingleEngineApp/query_engine_streamlit_app.py --server.port 8503

# MediaEngine 单独运行
streamlit run SingleEngineApp/media_engine_streamlit_app.py --server.port 8502

# InsightEngine 单独运行
streamlit run SingleEngineApp/insight_engine_streamlit_app.py --server.port 8501

# 基本使用（自动从文件名提取主题）
python report_engine_only.py

# 指定报告主题
python report_engine_only.py --query "土木工程行业分析"

# 按需开启 GraphRAG
python report_engine_only.py --graphrag-enabled true --graphrag-max-queries 3

cd MindSpider

# 项目初始化
python main.py --setup

# 运行话题提取
python main.py --broad-topic

# 运行完整爬虫流程
python main.py --complete --date 2024-01-20

# 指定平台深度爬取
python main.py --deep-sentiment --platforms xhs dy wb

# .env 文件

# Insight Agent
INSIGHT_ENGINE_API_KEY=your_api_key
INSIGHT_ENGINE_BASE_URL=https://api.openai.com/v1
INSIGHT_ENGINE_MODEL_NAME=gpt-4o

# Media Agent
MEDIA_ENGINE_API_KEY=your_api_key
MEDIA_ENGINE_BASE_URL=https://api.openai.com/v1
MEDIA_ENGINE_MODEL_NAME=gpt-4o

# Query Agent
QUERY_ENGINE_API_KEY=your_api_key
QUERY_ENGINE_BASE_URL=https://api.openai.com/v1
QUERY_ENGINE_MODEL_NAME=gpt-4o

# Report Agent
REPORT_ENGINE_API_KEY=your_api_key
REPORT_ENGINE_BASE_URL=https://api.openai.com/v1
REPORT_ENGINE_MODEL_NAME=gpt-4o

原始数据 → 模板选择 → 布局设计 → 篇幅规划 → 章节生成 → IR JSON → 渲染输出

# InsightEngine/tools/custom_db_tool.py
class CustomBusinessDBTool:
    """自定义业务数据库查询工具"""

    def search_business_data(self, query: str, table: str):
        """查询业务数据"""
        pass

    def get_customer_feedback(self, product_id: str):
        """获取客户反馈数据"""
        pass