为什么需要
出海做 AI 产品需要多种 AI 能力:LLM 聊天、图像生成、语音合成、视觉理解、视频生成。每个能力都要单独接一个云服务(OpenAI、Replicate、ElevenLabs),每月账单几千美元。LocalAI 一个二进制文件搞定所有——LLM、Vision、语音、图像生成、视频生成、语音克隆,统一 OpenAI API 兼容接口,开发代码零修改。无需 GPU 也能跑(支持 CPU 推理)。
怎么用
bash
# 一行启动
curl -L https://localai.io/install.sh | sh
# 或 Docker
docker run -d -p 8080:8080 --name localai localai/localai:latest
启动后自动提供 OpenAI 兼容 API,前端代码完全不用改:
javascript
// 切换到 LocalAI
const openai = new OpenAI({
baseURL: 'http://localhost:8080/v1',
apiKey: 'not-needed'
});
// 同样的代码,零修改
const completion = await openai.chat.completions.create({
model: 'llama-3.1-8b',
messages: [{ role: 'user', content: 'hello' }]
});
支持的模型类型(自动从 Hugging Face 下载):
- LLM:Llama 3.1、Mistral、Qwen、DeepSeek、Phi 等
- 图像生成:Stable Diffusion、SDXL、Flux
- 语音合成:TTS 多语言支持
- 语音克隆:参考音频 + 文本输入
- 视觉理解:图像描述、OCR
- 视频生成:AnimateDiff、CogVideo
- 音乐生成:MusicGen
- 嵌入向量:text-embedding、rerank
使用案例
出海 SaaS 产品需要 AI 客服(LLM)+ 头像生成(图像)+ 多语言 TTS(语音)。原本要接 3 个云服务,每月成本 $500+。部署 LocalAI 后,所有 AI 能力本地处理,3 台普通服务器跑满负载,月成本降到 $60(电费 + 服务器)。API 兼容 OpenAI,切换零代码改动。
另一个场景:开发阶段用 LocalAI 调试所有 AI 功能,避免开发期就消耗 OpenAI 配额。生产环境再切换到云端。
注意事项
- 完全免费开源,MIT 协议
- 无需 GPU,CPU 也能跑(小模型/低并发)
- 支持分布式部署(基于 libp2p),可水平扩展
- 模型支持比 Ollama 更广(多模态),但单 LLM 性能略逊于 Ollama
- 适合多模态需求或不愿用 GPU 的场景;纯 LLM 推理选 Ollama 更轻量