← 工具

LocalAI

开源多模态本地 AI 推理引擎,一条命令部署 LLM、视觉、语音、图像、视频生成全套模型。完全替代 OpenAI API 兼容接口,无需 GPU 也能跑小模型,零云端依赖的 AI 基础设施,Stars 46K+

#31
推荐排名
46,670
GitHub Stars
32,669
推荐得分
多模态本地 AI / OpenAI API 替代
适用场景
AI工具LLM自托管AI应用开源

为什么需要

出海做 AI 产品需要多种 AI 能力:LLM 聊天、图像生成、语音合成、视觉理解、视频生成。每个能力都要单独接一个云服务(OpenAI、Replicate、ElevenLabs),每月账单几千美元。LocalAI 一个二进制文件搞定所有——LLM、Vision、语音、图像生成、视频生成、语音克隆,统一 OpenAI API 兼容接口,开发代码零修改。无需 GPU 也能跑(支持 CPU 推理)。

怎么用

bash
# 一行启动
curl -L https://localai.io/install.sh | sh

# 或 Docker
docker run -d -p 8080:8080 --name localai localai/localai:latest

启动后自动提供 OpenAI 兼容 API,前端代码完全不用改:

javascript
// 切换到 LocalAI
const openai = new OpenAI({
  baseURL: 'http://localhost:8080/v1',
  apiKey: 'not-needed'
});

// 同样的代码,零修改
const completion = await openai.chat.completions.create({
  model: 'llama-3.1-8b',
  messages: [{ role: 'user', content: 'hello' }]
});

支持的模型类型(自动从 Hugging Face 下载):

  • LLM:Llama 3.1、Mistral、Qwen、DeepSeek、Phi 等
  • 图像生成:Stable Diffusion、SDXL、Flux
  • 语音合成:TTS 多语言支持
  • 语音克隆:参考音频 + 文本输入
  • 视觉理解:图像描述、OCR
  • 视频生成:AnimateDiff、CogVideo
  • 音乐生成:MusicGen
  • 嵌入向量:text-embedding、rerank

使用案例

出海 SaaS 产品需要 AI 客服(LLM)+ 头像生成(图像)+ 多语言 TTS(语音)。原本要接 3 个云服务,每月成本 $500+。部署 LocalAI 后,所有 AI 能力本地处理,3 台普通服务器跑满负载,月成本降到 $60(电费 + 服务器)。API 兼容 OpenAI,切换零代码改动。

另一个场景:开发阶段用 LocalAI 调试所有 AI 功能,避免开发期就消耗 OpenAI 配额。生产环境再切换到云端。

注意事项

  • 完全免费开源,MIT 协议
  • 无需 GPU,CPU 也能跑(小模型/低并发)
  • 支持分布式部署(基于 libp2p),可水平扩展
  • 模型支持比 Ollama 更广(多模态),但单 LLM 性能略逊于 Ollama
  • 适合多模态需求或不愿用 GPU 的场景;纯 LLM 推理选 Ollama 更轻量