🔥 【系列3】磨刀不误砍柴工：大模型这么火，这10个客户端值得体验一番！

接着上一篇，继续介绍10个大模型客户端、集成方案，希望折腾家们喜欢。

对于很多刚接触大模型的用户来说，一个简洁易用的客户端是开启 AI 之旅的关键。市面上涌现出大量的客户端，它们功能各异，各有千秋。一些客户端专注于提供简洁的聊天界面，方便用户与大模型进行互动；一些客户端则集成了丰富的功能，例如代码编写、文本创作、图像生成等，满足用户的多样化需求。选择合适的客户端，能够让你快速上手，体验大模型的魅力。

1️⃣ Lobe Chat

Lobe Chat 是一款开源的、现代设计的 AI 聊天框架，旨在打造私人的 ChatGPT/Claude 应用。它支持多种 AI 提供商、知识库、多模态交互以及插件系统，并且可以一键免费部署。🤯

功能特色 ✨

Lobe Chat 功能丰富，以下是几个亮点：

• 知识库📚： 支持文件上传和知识库管理，方便用户管理和搜索文件，并在对话中使用文件和知识库内容，丰富对话体验。
• 多模型服务提供商🌈： 支持 OpenAI、Claude、Gemini、Ollama、Qwen、DeepSeek 等多种模型服务提供商，以及 Google、HuggingFace、Cloudflare 等，提供多样化的对话选择。
• 本地大语言模型 (LLM) 支持💻： 支持基于 Ollama 的本地模型，用户可以灵活使用自己的或第三方的模型。
• 模型视觉识别👁️： 支持带有视觉识别能力的 gpt-4-vision 模型，用户可以上传图片，代理可以识别图像内容并进行对话。
• 语音对话🗣️： 支持文本转语音 (TTS) 和语音转文本 (STT) 技术，用户可以选择各种声音与代理进行语音交互。
• 文本生成图像🖼️： 支持最新的文本生成图像技术，用户可以在对话中调用 DALL-E 3、MidJourney 和 Pollinations 等 AI 工具生成图像。
• 插件系统🧩： Lobe Chat 的插件生态系统极大地增强了其实用性和灵活性，用户可以通过插件获取实时信息、搜索文档、生成图像以及与各种第三方服务交互。
• 代理市场(GPTs)🏪： Lobe Chat Agent Marketplace 提供了丰富的代理，用户可以发现、共享和协作开发代理。
• 数据库支持🗄️： 支持服务器端和本地数据库，用户可以根据需求选择合适的部署方案。
• 多用户管理🧑‍🤝‍🧑： 支持多用户管理，并提供 next-auth 和 Clerk 两种用户身份验证和管理方案。
• 渐进式 Web 应用程序 (PWA)📱： 采用 PWA 技术，在桌面和移动设备上提供高度优化的用户体验。
• 移动设备适配📱： 针对移动设备进行了一系列优化设计，增强移动用户体验。
• 自定义主题🎨： 提供灵活多样的主题模式，包括亮暗模式和颜色自定义选项。

🚀 部署方式

Lobe Chat 提供多种部署方式，方便用户快速搭建自己的聊天机器人：

A. 一键部署:

• 通过 Vercel、Zeabur、Sealos 或阿里云平台，一键即可快速部署，无需复杂配置。只需准备 OpenAI API 密钥和访问码，即可在几分钟内完成部署。

B. Docker 部署:

• 提供 Docker 镜像，用户可以在自己的私有设备上部署 Lobe Chat 服务。使用以下命令即可启动服务：

docker run -d -p 3210:3210 \
  -e OPENAI_API_KEY=sk-xxxx \
  -e ACCESS_CODE=lobe66 \
  --name lobe-chat \
  lobehub/lobe-chat

2️⃣ rag-chatbot

rag-chatbot 是一款允许用户与本地多个 PDF 文档进行聊天的开源工具。它提供了一个简单的用户界面，并支持多种强大的功能，使得与文档交互变得轻松便捷。

✨ 功能特色

• 多文档聊天: 支持同时上传和处理多个 PDF 文档，并基于所有文档内容进行问答。
• 本地部署: 可以在本地运行，无需将文档上传到外部服务器，保护数据隐私。
• 模型灵活: 支持 Huggingface 和 Ollama 上的各种语言模型，可以根据需求选择合适的模型。
• 简单易用: 提供简洁的 Gradio 用户界面，方便用户进行交互。
• 多语言支持: 即将支持多语言聊天，打破语言障碍。

🚀 部署方式

rag-chatbot 提供了多种部署方式，以满足不同用户的需求：

1. Kaggle: 推荐使用 Kaggle 部署，简单快捷，只需导入提供的 kaggle.ipynb 笔记本并配置 Ngrok token 即可。

2. 本地部署:

   • Docker: 使用 Docker Compose 可以快速构建和运行 rag-chatbot 。
   • 手动安装: 可以手动安装所需的依赖项（Ollama 、Ngrok 等）和 Python 包。提供 shell 脚本简化安装过程。

3. 运行: 部署完成后，可以通过浏览器访问 http://0.0.0.0:7860/ 或 Ngrok 提供的链接来使用 rag-chatbot 。

3️⃣ BrainSoup

BrainSoup 是一款个人 AI 平台，允许用户创建自定义 AI 代理，以自动化完成各种任务，从日常工作到复杂项目，都能胜任。 BrainSoup 采用先进的大语言模型（LLM），如 ChatGPT 和Mistral AI，甚至支持本地 LLM，并通过语义内核技术增强了底层 LLM 的功能，使 AI 代理具备时间和自身的内部感知，记住用户和过去的对话，提供更具凝聚力和个性化的 AI 体验。

✨ 功能特色

• 个性化 AI 代理： 根据特定需求创建自定义 AI 代理，并通过简单的自然语言进行交互，就像与团队成员沟通一样。
• 强大的 AI 能力： 支持 ChatGPT 、Mistral AI 等先进的 LLM，以及本地 LLM，并结合语义内核技术，使 AI 代理更智能、更具个性化。
• 数据驱动： 用户可以使用自己的文档增强 AI 知识，或者让 AI 代理在与用户的对话中不断学习和扩展知识库。
• 安全和隐私： 支持本地数据库和本地 LLM，确保用户数据安全。对第三方 AI 服务的请求进行匿名化处理，不用于训练 AI 模型。
• 开放和可扩展： 通过简单的文本文件和脚本与软件环境交互，使 AI 代理能够感知实时动态数据、响应用户定义的事件和使用工具。
• 实时操作： 内置丰富的工具，使 AI 代理能够执行计算、浏览网页、发送电子邮件、进行 API 调用、生成和编辑图像和视频、运行脚本等操作。
• 多模态功能： 支持图像和音频文件处理，使交互更丰富、更具活力。
• 多代理工作流程： 支持多个 AI 代理协同工作，高效处理复杂任务。
• 用户友好： 提供类似于常用消息平台的直观界面，以及强大的搜索功能。
• 内置专家 AI 助手 Doc-E： 提供全方位的帮助和指导。

🚀 部署方式

BrainSoup 目前提供 Windows 原生应用程序，未来将支持命令行界面、更多 LLM 、更多事件源和上下文源，以及 MacOS 、Android 、iOS 等平台。此外，还计划推出可托管在服务器上的 headless 版本和可选的客户端加密云同步功能。

4️⃣ Macai

Macai (macOS AI) 是一款功能强大的 macOS 原生应用，用于与现代 AI 服务进行交互，例如 ChatGPT、Claude、xAI (Grok)、Google Gemini、Perplexity、Ollama 以及几乎所有兼容 OpenAI 的 API。它使用 SwiftUI 构建，具有优异的性能和系统集成。

✨ 功能特色

Macai 提供丰富的功能，提升你的 AI 聊天体验：

• 多模型支持: 支持 OpenAI 的 ChatGPT 模型、Anthropic Claude、Google Gemini、xAI Grok、Perplexity 以及通过 Ollama 使用的本地 LLM 模型等。
• AI 角色: 自定义系统指令和温度设置，打造个性化 AI 角色。
• 智能消息处理: 实时流式响应、可调聊天上下文大小和自动聊天命名。
• 富内容支持: 代码块语法高亮、HTML/CSS/JavaScript 预览、格式化表格以及 LaTeX 方程式渲染。
• 隐私和数据控制: 100% 本地数据存储，无遥测或使用跟踪，并提供备份/恢复功能。
• 用户体验: 原生 macOS 界面，支持系统明暗主题，资源占用低。

🚀 部署方式

Macai 提供多种部署方式：

• Homebrew: 使用 brew install --cask macai 命令即可轻松安装。
• 手动安装: 下载 Apple 公证的最新通用二进制文件。
• 源码构建: 从 main 分支检出代码，并在 Xcode 14.3 或更高版本中打开项目。

5️⃣ Ollama Grid Search

Ollama Grid Search 是一款多平台桌面应用程序，用于评估和比较大型语言模型（LLM），采用 Rust 和 React 编写。它能够自动化选择最佳模型、提示或推理参数的过程，方便用户迭代不同的组合并直观地检查结果。该应用假设已安装 Ollama 并提供服务端点，无论是在本地主机还是远程服务器上。

✨ 功能特色

• 多模型、多提示、多参数迭代： 支持对不同的模型、提示和参数进行迭代，以生成推理结果。
• A/B 测试： 可同时在多个模型上对不同的提示进行 A/B 测试，或在相似配置下测试不同的提示。
• 并发控制： 允许有限并发或同步推理调用，防止服务器过载。
• 结果可视化： 提供直观的界面，方便用户查看和比较不同模型和提示的推理结果。
• 参数和元数据输出： 可选输出推理参数和响应元数据（推理时间、token 和 token/s）。
• 灵活的模型选择： 可以按名称过滤模型选择。
• 实验日志管理： 列出实验，可以JSON格式下载，并以可读视图检查。
• 实验复现： 可以重新运行过去的实验，克隆或修改过去使用的参数。
• 可配置的超时： 可配置推理超时。
• 自定义默认参数和系统提示： 可以在设置中定义自定义默认参数和系统提示。
• 功能齐全的提示数据库和示例： 内置提示数据库，提供丰富的示例。
• 提示自动补全： 通过键入“/”来选择和“自动补全”提示。

🚀 部署方式

Ollama Grid Search 依赖于 Ollama ，需要先安装 Ollama 并运行服务端点。Ollama 支持本地部署和远程服务器部署，Ollama Grid Search 可以连接到任意一种部署方式的 Ollama 服务。

6️⃣ Painting Droid

Painting Droid 是一款受经典 MS Paint 启发的 AI 驱动跨平台绘画应用程序，并可通过插件进行扩展。它利用各种 AI 模型（付费和开源），以及一些内置的轻量级模型。 Painting Droid 可以在浏览器和桌面（Windows 、macOS 和 Linux）上运行。

✨ 主要功能

• 常规绘画功能：例如画笔、注释、填充等。
• AI 辅助创作：使用 AI 生成内容填充选定区域或增强选定区域（例如，向风景中添加树或移除背景）。
• 图像处理：对整个图像或选定区域应用滤镜和效果、调整大小、裁剪、旋转和翻转。
• 插件支持：扩展程序功能。
• 跨平台兼容性：支持多种操作系统和浏览器。

🚀 部署方式

7️⃣ AI Studio

AI Studio 是一款适用于 macOS 、Windows 和 Linux 的免费桌面应用程序，提供与大型语言模型 (LLM) 交互的统一用户界面。它就像一个电子邮件程序：你自带所选 LLM 的 API 密钥，然后就可以用 AI Studio 使用这些 AI 系统。无论你想使用 Google Gemini 、OpenAI o1，还是你自己的本地 AI 模型，AI Studio 都能满足你的需求。

功能特色 ✨

• 免费: 个人和商业用途均免费。
• 独立性: 不依赖于任何单一提供商，你可以根据需求选择最合适的提供商。目前支持 OpenAI (GPT4o 、o1 等)、 Mistral 、Anthropic (Claude)、 Google Gemini 、xAI (Grok) 以及使用 llama.cpp、ollama、LM Studio、Groq 或 Fireworks 的自托管模型。
• 助手: 提供各种助手，无需手动提示即可完成翻译等常见任务。
• 无限制使用: 通过提供商 API 提供无限制使用，不像 ChatGPT 等服务在密集使用后会施加限制。
• 经济高效: 只需按使用量付费，对于不经常使用的用户来说，比 ChatGPT Plus 等月订阅服务更便宜。 (注意：对于极高强度的使用，API 成本可能会更高。请监控你的提供商账户以了解你的成本。)
• 隐私: 你可以通过提供商信任设置控制哪些提供商接收你的数据。
• 灵活性: 为当前任务选择最合适的提供商和模型。
• 轻量级: 安装所需存储空间极小，内存占用低，对系统资源的影响也很小，有利于延长电池寿命。

🚀 部署方式

AI Studio 提供预编译的安装包，方便用户快速部署。你可以根据你的操作系统 (macOS, Windows, Linux) 下载相应的安装包。

此外，你还可以从源码构建 AI Studio 。如果你想从源码构建，可以参考构建指南 获取详细的构建说明。

8️⃣ LLMStack

LLMStack 是一个无代码平台，用于构建生成式 AI 代理、工作流和聊天机器人，并将它们连接到你的数据和业务流程。它允许你通过链接多个大型语言模型（LLM）来构建满足你特定需求的定制化生成式 AI 代理、应用程序和聊天机器人。 使用 LLMStack 的无代码构建器，你可以无缝集成你自己的数据、内部工具和 GPT 驱动的模型，而无需任何编码经验。你可以从 Slack 或Discord 触发你的 AI 链。并将其部署到云端或本地。

主要功能 ✨

• 🤖 代理： 构建生成式 AI 代理，例如 AI SDR 、研究分析师、 RPA 自动化等，无需编写任何代码。将代理连接到你的内部或外部工具，使用代理搜索网络或浏览互联网。
• 🔗 链式多模型： LLMStack 允许你将多个 LLM 链接在一起，以构建复杂的生成式 AI 应用程序。
• 📊 基于数据的生成式 AI： 将你的数据导入你的帐户并在 AI 链中使用它。 LLMStack 允许从各种来源（gdrive 、notion 、网站、直接上传等）导入各种类型（CSV 、TXT 、PDF 、DOCX 、PPTX 等）的数据。平台将负责预处理和向量化你的数据，并将其存储在开箱即用的向量数据库中。
• 🛠️ 无代码构建器： LLMStack 带有无代码构建器，使你无需任何编码经验即可构建 AI 链。你可以将多个 LLM 链接在一起，并将它们连接到你的数据和业务流程。
• ☁️ 部署到云端或本地： LLMStack 可以部署到云端或本地。你可以将其部署到你自己的基础架构或使用我们在 Promptly 的云产品。
• 🚀 API 访问： 可以通过 HTTP API 访问使用 LLMStack 构建的应用程序或聊天机器人。你还可以从**Slack或Discord**触发你的 AI 链。
• 🏢 多租户： LLMStack 是多租户的。你可以创建多个组织并将用户添加到其中。用户只能访问属于其组织的数据和 AI 链。

🚀 部署方式

你可以选择在 Promptly 提供的云服务上使用 LLMStack，或者将其部署到你自己的基础设施上。

• 云端部署： Promptly 提供了 LLMStack 的云服务，你可以注册一个免费帐户并开始构建你自己的生成式 AI 应用程序。
• 本地部署： 你可以使用 pip 安装 LLMStack，并按照文档中的说明在本地运行。本地部署需要 Docker 环境来运行作业。

9️⃣ Harbor

Harbor 是一款容器化的本地 LLM 工具包，旨在简化大型语言模型（LLM）及其相关服务的运行和管理。它通过命令行界面（CLI）和配套的 App，为用户提供便捷的 AI 服务管理方式。

功能特色 ✨

Harbor 提供了丰富的功能，使其成为本地 LLM 开发的理想选择：

• 一键启动 LLM 服务: 通过简单的 harbor up 命令即可启动默认的 LLM 服务（Open WebUI 和 Ollama）。
• 灵活的服务组合: 支持多种 LLM 后端（如 Ollama、llama.cpp、vLLM 等）、前端（如 Open WebUI、ComfyUI、LibreChat 等）和卫星服务（如 SearXNG、Perplexica、Dify 等），用户可以根据需求自由组合。
• 便捷的 CLI 工具: 提供了统一的 CLI，方便用户管理模型、配置、调试服务、生成 URL 和隧道等。
• 免安装访问服务 CLI: 可以直接通过 Harbor CLI 访问各个服务的 CLI（如 hf、ollama 等），无需单独安装。
• 缓存共享: Hugging Face、ollama 等服务的缓存可以共享，避免重复下载。
• 配置文件管理: 支持创建和管理不同的配置，方便切换不同的使用场景。
• 内置 LLM 评测: 提供内置的 LLM 评测服务 (Harbor Bench)，方便用户对模型进行评估。
• 性能优化代理: 内置性能优化代理 (Harbor Boost)，可以提升 LLM 的输出质量和创造力。
• 可导出 Docker Compose 配置: 可以将 Harbor 的配置导出为 Docker Compose 文件，方便用户在 Harbor 之外运行服务。

🚀 部署方式

Harbor 基于 Docker Compose 进行部署和管理。用户可以通过以下方式使用 Harbor：

1. 安装 Harbor CLI 和 App: 按照文档指引安装 Harbor CLI 和 App。
2. 使用 Harbor CLI 启动服务: 使用 harbor up 命令启动所需的服务。
3. 通过 Harbor App 管理服务: 使用 Harbor App 可视化地管理和监控运行中的服务。

Harbor 主要用于本地 LLM 开发环境，并非为生产环境部署设计。它为用户提供了一个便捷的实验平台，用户可以根据自身需求进行定制和扩展。

🔟 PyGPT

PyGPT 是一款功能强大的开源桌面 AI 助手，可在 Linux、Windows 和 Mac 上运行。它提供了与 OpenAI、Google、Anthropic 等模型的本地交互，并通过 LangChain 和 LlamaIndex 支持 HuggingFace 等平台上的各种其他模型。PyGPT 就像你的个人 ChatGPT，但它运行在你的电脑上，无需浏览器，且支持多种强大的 AI 模型。它不仅可以进行聊天、生成文本和图像，还能执行代码、控制你的系统，甚至帮你处理文件和进行网络搜索。

功能特色 ✨

• 多模式操作: 提供聊天、视觉、文本补全、助手、图像生成、LangChain、文件聊天、音频聊天、专家模式、自主模式和代理模式等 11 种操作模式。
• 多模型支持: 支持 o1、GPT-4、GPT-4 Vision、Gemini、Claude、Llama 3 等多种模型，以及通过 LangChain 和 LlamaIndex 访问的 HuggingFace、本地模型（如 Llama 3、Mistral、DeepSeek V3/R1 或 Bielik）以及其他模型。
• 文件聊天: 集成了 LlamaIndex，可以与 txt、pdf、csv 等多种格式的文件进行交互，甚至可以与网页、Google、GitHub 等外部数据进行交互，并将对话历史记录作为附加上下文提供给模型。
• 内置向量数据库: 支持内置向量数据库和自动文件及数据嵌入。
• 无障碍功能: 提供可自定义的键盘快捷键、语音控制，以及通过语音合成将屏幕上的操作转换为音频。
• 上下文记忆: 处理和存储完整的对话上下文（短期和长期记忆），并可保存和加载。
• 互联网访问: 通过 Google 和 Microsoft Bing 进行网络搜索。
• 语音合成和识别: 支持使用 Microsoft Azure、Google、Eleven Labs 和 OpenAI 的语音合成服务，以及 OpenAI Whisper、Google 和 Bing 的语音识别功能。
• 图像分析和生成: 通过 GPT-4 Vision 和 GPT-4o 进行图像分析，并使用 DALL-E 3 生成图像。
• 代码执行和文件管理: 可以生成和运行 Python 代码，执行系统命令和自定义命令，并管理文件上传/下载。
• 插件支持: 功能可通过插件扩展，例如文件访问、代码解释器、系统命令执行等。
• 预设系统: 简化了提示的创建和管理。

🚀 部署方式

• Linux 和 Windows 二进制文件: 可以直接下载已编译的 Linux（zip）和 Windows 10/11（msi）64 位版本。
• Snap 商店: 可通过 Snap 商店安装和更新。
• PyPi (pip): 可使用 pip 从 PyPi 安装。
• GitHub 源码: 可以从 GitHub 下载源码并使用 Python 解释器运行。

原创不易，如果觉得此文对你有帮助，不妨点赞+收藏+关注，你的鼓励是我持续创作的动力！