🔥 【系列2】磨刀不误砍柴工：大模型这么火，这10个客户端值得体验一番！

接着上一篇，继续介绍10个大模型客户端、集成方案，希望折腾家们喜欢。

对于很多刚接触大模型的用户来说，一个简洁易用的客户端是开启 AI 之旅的关键。市面上涌现出大量的客户端，它们功能各异，各有千秋。一些客户端专注于提供简洁的聊天界面，方便用户与大模型进行互动；一些客户端则集成了丰富的功能，例如代码编写、文本创作、图像生成等，满足用户的多样化需求。选择合适的客户端，能够让你快速上手，体验大模型的魅力。

1️⃣ Cheshire Cat AI

Cheshire Cat AI是一款开源的AI代理微服务框架，用于构建自定义AI代理。它以API优先，可以轻松地为你的应用添加对话层，并通过可定制的REST API进行管理。就像童话故事里的柴郡猫一样，它能根据你的需求，引领你找到正确的方向。

功能特色 ✨

• API优先: 轻松集成到现有应用中。
• 灵活的聊天方式: 支持WebSocket进行实时聊天。
• 内置RAG: 通过Qdrant实现检索增强生成，让你的AI更懂你。
• 可扩展插件: 通过插件扩展功能，满足个性化需求。
• 事件回调和工具调用: 提供细粒度控制和功能扩展。
• 对话表单: 引导用户进行目标导向的对话。
• 便捷的管理面板: 轻松管理你的AI代理。
• 广泛的语言模型支持: 通过Langchain支持各种语言模型。
• 多用户支持: 支持多用户，并可配置权限。
• Docker化部署: 简化部署流程。
• 活跃的社区: 在Discord上获取帮助和支持。

🚀 部署方式

Cheshire Cat AI 完全docker化，支持使用Docker进行快速部署。只需一条命令即可启动：

docker run --rm -it -p 1865:80 ghcr.io/cheshire-cat-ai/core:latest

2️⃣ Amica

Amica 是一款开源的 3D 角色交互界面，允许用户使用语音合成和语音识别技术与角色进行对话。

✨ 主要功能

• 语音聊天和视觉交流: Amica 支持自然语音聊天，并可以通过视觉进行交流。
• 情感引擎: 内置情感引擎，使 Amica 能够表达情感，例如开心、悲伤、惊讶等，使交互更加生动。
• 高度可定制化: 用户可以自定义角色的形象、声音、以及使用的 AI 技术。
• VRM 文件导入: 支持导入 VRM 文件，用户可以轻松使用自己喜欢的 3D 模型。
• 语音调整: 可以调整角色的语音以适应角色的性格和设定。
• 支持多种 AI 技术: Amica 支持多种语音识别、语音合成和聊天机器人技术，例如 Whisper、Eleven Labs API、Llama.cpp、ChatGPT API 等，用户可以根据自己的需求进行选择。

🚀 部署方式

Amica 主要支持两种部署方式：

1. Web 部署: 用户可以通过克隆代码库，安装依赖，然后运行 npm run dev 命令启动本地开发服务器，在浏览器中访问 http://localhost:3000 进行体验。

2. 桌面应用程序: Amica 使用 Tauri 构建桌面应用程序。用户可以运行 npm run tauri dev 命令进行开发和调试。Windows 用户可以使用提供的 .exe 文件直接安装。

3️⃣ Chatd

Chatd 是一款桌面应用程序，允许你使用本地大型语言模型（如Mistral-7B）与你的文档进行交互。这意味着所有数据都保留在你的计算机上，绝不会发送到云端，确保了完全的隐私和安全。🔒

✨ 主要功能

• 本地运行，保护隐私： Chatd 的核心优势在于其本地化运行。不同于其他需要联网的“与文档聊天”应用，Chatd 将本地LLM运行器打包在内，无需安装其他任何软件，只需运行可执行文件即可。
• Ollama集成，简化操作： Chatd 使用 Ollama 运行 LLM。Ollama 是一款 LLM 服务器，提供跨平台 LLM 运行器 API。如果你本地已经运行了 Ollama 实例，Chatd 将自动使用它。否则，Chatd 会为你启动并管理一个 Ollama 服务器。
• 开箱即用，轻松上手： Chatd 提供了简单易用的界面，让你可以轻松上传文档并开始对话。它还支持多种文档格式，例如 PDF、TXT 等。

🚀 部署方式

Chatd 支持多种操作系统，包括：

• MacOS: 下载ollama-darwin版本，并将其复制到chatd/src/service/ollama/runners目录下。需要开发者证书才能在编译机器之外的MacOS系统上运行。
• Windows: 下载 ollama-windows-amd64.zip版本，并将其内容复制到chatd/src/service/ollama/runners/目录下。Windows版本未签名，运行时可能会出现警告。
• Linux: 下载ollama-linux-amd64版本，并将其复制到chatd/src/service/ollama/runners/ollama-linux目录下。

4️⃣ Ollama-SwiftUI

Ollama-SwiftUI 是一款使用 Swift 开发的、用户友好的 Ollama.ai 界面。它并非 Ollama.ai 的官方产品，而是一个第三方工具，旨在简化与本地大型语言模型的交互。✨

✨ 主要功能

• 与本地 LLM 聊天: 轻松与下载到 Mac 的大型语言模型进行对话。
• 模型切换: 可在对话中随时切换不同的模型。
• 重启对话: 随时重启对话，开始新的讨论。
• 系统提示: 支持发送系统提示，引导模型的输出。
• 多模态支持: 支持带有图像和文本的多模态模型。
• 多标签页: 使用不同的标签页进行多个对话。
• 模型管理: 通过 GUI 下载、删除和复制模型。 (模型列表参见 https://ollama.ai/library)
• 亮/暗模式: 支持亮暗模式，适应不同环境。
• 多语言支持: 界面支持多种语言，例如英语和阿拉伯语。
• 快捷键： 支持多种快捷键操作，例如发送消息、刷新连接、新建窗口等等。

🚀 部署方式

Ollama-SwiftUI 需要 Ollama 已经安装并在后台运行。

一些额外的说明：

• 对于 "服务器无法访问" 的错误，请确保 Ollama 已经安装并在运行。
• 你可以在设置中修改目标 IP 和端口。
• 遇到 "无法打开，因为开发者无法验证" 的错误，请在 macOS 系统设置中允许打开。
• 更多问题，请参考项目的 FAQ 部分。

5️⃣ Dify

Dify是一个开源的LLM应用开发平台，它提供了一个直观的界面，将AI工作流、RAG管道、Agent功能、模型管理和可观测性等功能结合在一起，使您可以快速地从原型过渡到生产环境。

✨ 主要功能

1. 可视化工作流：在可视化画布上构建和测试强大的AI工作流，利用所有以下功能及其他功能。
2. 全面的模型支持：与来自数十个推理提供商和自托管解决方案的数百个专有/开源LLM无缝集成，涵盖GPT、Mistral、Llama2和任何与OpenAI API兼容的模型。
3. 提示IDE：用于创建提示、比较模型性能和向基于聊天的应用程序添加其他功能（如文本到语音）的直观界面。
4. RAG管道：广泛的RAG功能，涵盖从文档摄取到检索的所有内容，开箱即用地支持从PDF、PPT和其他常见文档格式中提取文本。
5. Agent功能：您可以基于LLM函数调用或ReAct定义代理，并为代理添加预构建或自定义工具。Dify为AI代理提供了50多个内置工具，例如谷歌搜索、DALL·E、Stable Diffusion和WolframAlpha。
6. LLMOps：随着时间的推移监控和分析应用程序日志和性能。您可以根据生产数据和注释不断改进提示、数据集和模型。
7. 后端即服务：Dify的所有产品都带有相应的API，因此您可以毫不费力地将Dify集成到您自己的业务逻辑中。

🚀 部署方式

• Dify Cloud：提供开箱即用的云服务，无需任何设置即可体验Dify的全部功能，沙盒计划包含200次免费GPT-4调用。

• 自托管社区版：使用Docker Compose快速在您的环境中运行Dify。

• 企业版：为企业/组织提供额外的以企业为中心的功能。

• 其他部署方式：

  • 使用Terraform一键部署到Azure或Google Cloud。
  • 使用AWS CDK部署到AWS。
  • 社区贡献的Helm Charts和YAML文件，用于在Kubernetes上部署Dify。

6️⃣ nextjs-ollama-llm-ui

nextjs-ollama-llm-ui 为 Ollama 大型语言模型提供了一个功能齐全、美观且易于使用的 Web 界面。它旨在让用户快速、本地甚至离线地启动和运行大型语言模型，无需繁琐的设置。

主要功能 ✨

• 美观直观的界面： 类似于 ChatGPT 的界面，提供舒适的用户体验。
• 完全本地化： 将聊天记录存储在本地，无需数据库。
• 响应式设计： 支持在各种设备上使用，包括手机和平板电脑。
• 代码语法高亮： 突出显示代码，便于阅读和复制。
• 模型管理： 可以直接在界面上下载、删除和切换模型。
• 聊天记录： 保存聊天历史，方便随时访问。
• 亮/暗模式： 提供两种主题模式。

部署方式 🚀

nextjs-ollama-llm-ui 支持两种部署方式：

1. Docker 部署 (推荐)

nextjs-ollama-llm-ui 提供了预构建的 Docker 镜像，可以快速部署。只需运行以下命令：

docker run -d -p 8080:3000 --add-host=host.docker.internal:host-gateway -e OLLAMA_URL=http://host.docker.internal:11434 --name nextjs-ollama-ui --restart always jakobhoeg/nextjs-ollama-ui:latest

如果 Ollama 运行在与 Web 界面不同的服务器上，则需要修改 OLLAMA_URL 环境变量。

2. 本地部署

1. 克隆仓库：git clone https://github.com/jakobhoeg/nextjs-ollama-llm-ui
2. 进入目录：cd nextjs-ollama-llm-ui
3. 复制环境变量文件： mv .example.env .env
4. 修改 .env 文件中的 OLLAMA_URL 变量。
5. 安装依赖：npm install
6. 启动开发服务器：npm run dev
7. 访问 http://localhost:3000 开始使用。

7️⃣ Chatbox

Chatbox 是一款用户友好的桌面客户端应用，适用于各种 AI 模型/大型语言模型（LLM），如 GPT、Claude、Gemini、Ollama 等。它提供了跨平台支持，可在 Windows、Mac 和 Linux 系统上运行，并提供 iOS 和 Android 移动版本。方便你在各种设备访问和使用。

主要功能 ✨

• 数据安全与隐私： 数据存储在本地设备，保障数据安全和用户隐私。
• 便捷安装： 提供免部署安装包，轻松上手，无需复杂配置。
• 多模型支持： 兼容多种主流 LLM，包括 OpenAI (ChatGPT)、Azure OpenAI、Claude、Google Gemini Pro、Ollama（访问本地 llama2、Mistral、Mixtral、codellama、vicuna、yi 和 solar 等模型）、ChatGLM-6B。
• 图像生成： 支持 Dall-E-3，轻松创建图像。
• 增强提示： 提供高级提示功能，优化查询，获得更佳回复。
• 快捷键操作： 支持快捷键，提高工作效率。
• 格式支持： 支持 Markdown、Latex 和代码高亮，增强可读性和表达能力。
• 提示库和消息引用： 保存和组织提示以便重复使用，并可引用消息上下文。
• 流式回复： 即时回复，快速响应互动。
• UI 友好： 提供舒适的用户界面和夜间模式。
• 团队协作： 支持团队协作和 OpenAI API 资源共享。
• 跨平台和移动端： 支持 Windows、Mac、Linux、iOS 和 Android 平台，随时随地访问。
• 多语言支持： 支持多种语言，包括英语、简体中文、繁体中文、日语、韩语、法语、德语和俄语。

部署方式 🚀

Chatbox 提供多种部署方式：

1. 桌面客户端： 下载安装包直接安装，无需部署，简单易用。Windows | MacOS(Intel) | MacOS(M1/M2) | Linux
2. 移动客户端： iOS 和 Android 应用商店均可下载。iOS | Android | Android APK
3. Web 版本： 通过浏览器访问，无需安装，随时随地使用。
4. 社区版本： 可从 GitHub 获取源码自行构建。

8️⃣ NextChat

NextChat 是一款设计精良的跨平台 ChatGPT 网页用户界面，旨在提供流畅且高效的 AI 交互体验。它支持多种大型语言模型，包括 Claude、GPT4 和 Gemini Pro，并提供 Web、iOS、MacOS、Android、Linux 和 Windows 等多平台支持。

主要功能 ✨

• 一键免费部署：NextChat 支持 Vercel 一键免费部署，快速便捷。
• 轻量客户端：提供体积小巧的跨平台客户端（约 5MB），适用于 Linux、Windows 和 MacOS 系统。
• 本地部署大型语言模型：NextChat 完美兼容用户自托管的大型语言模型，推荐配合 RWKV-Runner 或 LocalAI 使用，支持 llama、gpt4all、rwkv、vicuna、koala 等多种模型。
• 隐私优先：所有数据本地存储于浏览器，保护用户隐私安全。
• 丰富的 Markdown 支持：支持 LaTex、mermaid、代码高亮等多种 Markdown 格式。
• 响应式设计和 PWA：NextChat 拥有响应式设计、暗黑模式和 PWA 支持，提供更优秀的用户体验。
• 快速加载和流式响应：首屏加载速度极快（约 100kb），支持流式响应，带来更流畅的交互体验。
• 提示模板功能：支持创建、共享和调试聊天工具，并提供预定义的上下文提示。
• 聊天记录压缩：自动压缩聊天记录，支持长对话并节省 token 消耗。
• 多语言支持：NextChat 支持多种语言，包括英语、简体中文、繁体中文、日语、法语、西班牙语、意大利语、土耳其语、德语、越南语、俄语、捷克语、韩语和印尼语。
• 插件支持：支持网络搜索、计算器等插件，扩展 AI 能力。
• 实时聊天：支持 OpenAI 的 Realtime Chat API，实现实时对话。
• 多模型支持: 支持OpenAI, Azure, Google, Anthropic, Baidu, ByteDance, Alibaba, iFlytek, ChatGLM, DeepSeek等模型。

部署方式 🚀

NextChat 提供多种部署方式，方便用户根据自身需求选择：

• Docker (推荐)：使用 Docker 镜像快速部署，简单易用。
• Vercel：一键部署，方便快捷。
• Shell：通过脚本快速搭建服务。
• 本地客户端: 下载安装包直接运行。

9️⃣ Anything-LLM

Anything-LLM 是一款功能强大的全栈 AI 应用，它可以将任何文档、资源或内容转化为上下文，让大型语言模型 (LLM) 在聊天时用作参考。它支持多种 LLM 和向量数据库，允许你根据需求进行选择，同时支持多用户管理和权限控制。无论是在本地运行还是远程托管，Anything-LLM 都能让你轻松构建私密的 ChatGPT，并智能地与你提供的任何文档进行交互。

主要功能 ✨

• 自定义 AI 代理 🤖: 创建自定义代理来执行特定任务。
• 多模态支持 🖼️: 支持图像等多模态输入，兼容闭源和开源 LLM。
• 多用户支持 👥: 支持多用户实例和权限管理（仅限 Docker 版本）。
• 内置代理 🦾: 在工作区内使用代理浏览网页、运行代码等。
• 可嵌入聊天小部件 💬: 为你的网站添加自定义聊天小部件（仅限 Docker 版本）。
• 多种文档类型支持 📖: 支持 PDF、TXT、DOCX 等多种文档格式。
• 简洁的聊天界面: 提供简单的聊天界面，支持拖放功能和清晰的引用。
• 云部署就绪 ☁️: 可轻松部署到云端。
• 广泛的 LLM 支持: 兼容所有流行的闭源和开源 LLM 提供商、嵌入模型、语音模型和向量数据库（详见下文）。
• 高效的文档管理: 相比其他聊天界面，Anything-LLM 在管理大型文档方面更节省成本和时间。
• 开发者 API: 提供完整的开发者 API，方便自定义集成。

支持的模型和数据库 ⚙️

Anything-LLM 支持广泛的 LLM、嵌入模型、语音模型和向量数据库，包括：

大型语言模型 (LLMs): OpenAI、Azure OpenAI、AWS Bedrock、Anthropic、Google Gemini Pro、Hugging Face、Ollama、LM Studio、LocalAi、Together AI、Fireworks AI 等。
嵌入模型: Anything-LLM Native Embedder、OpenAI、Azure OpenAI、Cohere 等。
语音模型: OpenAI、ElevenLabs 等。
向量数据库: LanceDB、Astra DB、Pinecone、Chroma、Weaviate、Qdrant、Milvus、Zilliz 等。

部署方式 🚀

Anything-LLM 提供多种部署方式，让你可以轻松地在不同环境中运行：

• Docker 🐳: 提供 Docker 镜像，方便快速部署。
• 云平台 ☁️: 支持 AWS、GCP、Digital Ocean、Render.com 等主流云平台。
• 其他平台: 支持 Railway、RepoCloud、Elestio 等平台一键部署。
• 非 Docker 部署: 也支持在不使用 Docker 的情况下进行生产环境部署。

🔟 RAGFlow

RAGFlow 是一个基于深度文档理解的开源 RAG（检索增强生成）引擎。它为各种规模的企业提供了一个简化的 RAG 工作流程，结合了大型语言模型 (LLM)，以提供真实的问答能力，并提供来自各种复杂格式数据的可靠引用。

主要功能 ✨

• 高质量输入，高质量输出: 基于深度文档理解的知识提取，可以从具有复杂格式的非结构化数据中提取知识，并能在海量数据中找到所需信息。
• 基于模板的文档分块: 提供多种模板选项，可以进行智能且可解释的分块。
• 减少幻觉，提供可靠依据: 文本分块可视化，允许人工干预，并提供关键参考和可追溯的引用，以支持答案的可靠性。
• 兼容异构数据源: 支持 Word、PPT、Excel、TXT、图像、扫描件、结构化数据、网页等多种数据源。
• 自动化 RAG 工作流程: 简化的 RAG 流程，适用于个人和大型企业，并可配置 LLM 和嵌入模型。支持多重召回和融合排序，以及用于无缝业务集成的直观 API。

部署方式 🚀

RAGFlow 支持多种部署方式，以满足不同用户的需求：

1. 使用预构建的 Docker 镜像: 这是最简单的部署方式，可以直接使用预构建的 Docker 镜像快速启动 RAGFlow。 提供了不同版本的镜像，包括包含嵌入模型的完整版和不包含嵌入模型的精简版。

2. 从源码构建 Docker 镜像: 您可以根据需求构建自定义的 Docker 镜像，例如包含或不包含嵌入模型。

3. 从源码启动服务以进行开发: 这种方式适用于开发人员，可以从源码启动 RAGFlow 服务进行开发和调试。

原创不易，如果觉得此文对你有帮助，不妨点赞+收藏+关注，你的鼓励是我持续创作的动力！