AnythingLLM

为什么需要

出海做 AI 产品需要本地部署的 RAG 系统——用自己文档喂 LLM、企业知识库、客服机器人。Open WebUI 强在聊天 UI，但 RAG 能力相对弱；Dify 强在工作流编排但部署重。AnythingLLM 介于两者之间：本地优先 + 完整 RAG + 内置 Agent + 多用户管理，Docker 一行启动，10 分钟搭完。

最实用的能力是「动态模型路由」——按规则把不同任务分配给不同模型（比如代码问题用 Claude Sonnet，简单问答用本地 Llama 3，每条对话自动选择最优模型）。出海开发者关心成本控制，把强模型用在刀刃上，每月账单能省 50-70%。

怎么用

Docker 一行启动：

docker run -d -p 3001:3001   --cap-add SYS_ADMIN   -v anythingllm-data:/app/server/storage   --name anythingllm   mintplexlabs/anythingllm

打开 http://localhost:3001，第一次进入配置向导：

1. 设置管理员账号
2. 选 LLM 提供商（OpenAI、Anthropic、Google、Ollama、LM Studio 都行）
3. 选 Embedding 模型（默认 OpenAI text-embedding-3-small）
4. 选向量数据库（LanceDB 内置，或 PGVector / Chroma / Qdrant）
5. 创建 Workspace，上传文档（PDF、TXT、DOCX 都支持）

桌面版（Mac/Windows/Linux）也可以直接从 anythingllm.com/download 下载，免 Docker。

核心特性

• 动态模型路由 — 按规则自动选模型，复杂任务用强模型，简单任务用本地模型，省 50-70% 成本
• 智能 Skill 选择 — 无限制工具可用，token 消耗减少 80%
• 多用户管理 — Docker 版支持多用户，权限粒度可控
• 自动记忆 — LLM 记住工作区内的关键信息
• 定时任务 — Cron 调度的 Agent 任务
• 无代码 Agent 流 — 图形界面搭建 AI 工作流
• MCP 兼容 — 支持 Model Context Protocol
• 多模态 — 支持视觉模型（闭源开源都行）
• 嵌入聊天组件 — 官方 embeddable widget，可嵌到任意网站
• 50+ LLM 提供商 — Ollama、OpenAI、Anthropic、AWS Bedrock、Google Gemini、NVIDIA NIM、Together AI、Fireworks AI 等

使用案例

独立开发者做海外 SaaS 的 AI 客服。用 AnythingLLM 建一个 Workspace，上传产品文档 + FAQ + 历史工单（共 200 份 PDF），Agent 模式 + Claude Sonnet 3.5 做基础模型。客户在网站聊天组件问问题，Agent 自动检索文档给答案，复杂问题自动转人工。整个客服系统零代码，搭建 2 小时，运行 6 个月平均解决 78% 工单。

另一个场景：海外创业公司内部知识库。AnythingLLM 多用户模式，给 5 个团队成员每人一个工作区，配 Ollama 本地 Llama 3.3 + PGVector 数据库，每月成本仅服务器 $5 vps。内部文档问答、新员工 onboarding 全在里面。

注意事项

• MIT 协议开源，可商用
• Docker 版需要 --cap-add SYS_ADMIN 才能让 Agent 跑某些系统命令
• 推荐至少 2 核 4GB RAM
• 桌面版适合个人本地用，Docker 版适合团队/生产
• 文档处理量大时建议换 PGVector 而不是内置 LanceDB
• Mintplex Labs 同时在做 Open Computer（让 Agent 拿到完整电脑环境），关注项目动态