🐦‍🔥Ollama+LobeChat:在个人电脑上打造无限制、高颜值、免费的专属大模型助手!

Ollama+LobeChat
笔者在ChatGPT初期就开始关注和使用大模型,在日常工作生活中也折腾了不少小玩具,使用的大模型主要是Openai的GPT系列和谷歌的Gemini-Pro以及一些国内厂商的模型。客观说,Openai的模型遥遥领先,而国内那帮的模型只能说性十足。但随着Openai开始大规模封禁不支持区域的账号后,笔者的两个账号也未能幸免,只能靠Gemini-Pro苦苦支撑,虽然可以将就着用,但总觉得别别扭扭。

看起来是开启一段新的AI之旅了。没错,笔者找到了一个更能打的方案:Ollama+LobeChat,完全基于个人PC平台,本地部署开源大模型,配合GUI客户端,体验值直接拉满!

🎭 Ollama&LobeChat简介

Ollama

Ollama是一个开源的大模型托管和服务平台,可以在Windows、macOS、Linux或Docker中安装,并提供便利的模型下载、推理等功能,简直把大模型的落地做到了0基础即可入手的地步。项目的Logo就是下面的这只可爱的小羊驼。
Ollama

LobeChat

说起来LobeChat是与NextChat几乎同期起步的大模型客户端项目,二者也先后从开源走向商业化(除了开源,官方也提供商业服务),不过笔者个人感受下来,LobeChat在整体质感和功能特性方面更受一筹。UI上做的非常精细现代,功能上支持语音合成、多模态、插件,可以轻松对接OpenAI/Gemini/Claude/Ollama等十数个平台。
LobeChat

🦀 Ollama安装和使用

Ollama非常容易安装,可在文末获取下载链接,下载安装下面的步骤开始安装和启动模型推理服务。

1️⃣ 安装

Windows和macOS直接双击安装即可

Ollama

Linux平台需要使用命令安装

curl -fsSL https://ollama.com/install.sh | sh

也可以使用Docker进行安装,下面是一键启动命令:

docker run -d -v ./ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:latest

2️⃣ 下载大模型

安装完成后就可以下载大模型啦,笔者推荐llama3.1、gemma2、qwen2等大模型,更多模型可在下面的网站搜索:

https://ollama.com/library

请根据自己的电脑或NAS配置情况,选择合适的模型和体量,体量越大模型文件的体积也越大,对CPU和显存的要求也越高。比如笔者选择的gemma2:27b,体积就有16GB。
输入下面的命令即可开始下载:

ollama run gemma2:27b

Ollama

下载完成后,Ollama会自动启动模型推理服务,我们可以直接在终端中进行测试,笔者的M1芯片,没想到速度非常快!
Ollama

最后,因浏览器安全限制,你需要为 Ollama 进行跨域配置后方可正常使用,在终端中输入下面命令然后重启Ollama即可。

launchctl setenv OLLAMA_ORIGINS "*"

🦀 LobeChat安装和使用

1️⃣ 安装LobeChat

LobeChat需要使用Docker来安装,下面是Docker和Docker Compose的指令,二选一即可。

Docker 指令部署

docker run -d -p 3210:3210 \
  -e OPENAI_API_KEY=sk-xxxx \
  -e ACCESS_CODE=123456 \
  --name lobe-chat \
  lobehub/lobe-chat:latest

指令说明:

  • 默认映射端口为 3210, 请确保未被占用或手动更改端口映射
  • 设置访问密码为123456,请自行修改
  • 使用你的 OpenAI API Key 替换上述命令中的 sk-xxxx ,如果不用OpenAI可以随便写。

Docker Compose 部署指令

创建一个compose.yml文件,将下面的内容贴近去:

version: '3.8'
services:
  lobe-chat:
    image: lobehub/lobe-chat:latest
    container_name: lobe-chat
    restart: always
    ports:
      - '3210:3210'
    environment:
      OPENAI_API_KEY: sk-xxxx
      OPENAI_PROXY_URL: https://api-proxy.com/v1
      ACCESS_CODE: 123456

然后在compose.yml文件所在目录下执行下面命令启动容器:

docker-compose up -d

2️⃣ 配置LobeChat

我们使用Docker启动LobeChat后,就可以在浏览器中使用localhost:3210打开LobeChat的WebUI了,界面看起来非常漂亮,首次打开后如果提示登录,输入上面安装命令中设置的ACCESS_CODE访问密码即可。
LobeChat

接着我们需要做一些简单的配置,以便可以与Ollama中的大模型进行对话。点击左上角的头像,在菜单中选择应用设置

LobeChat

切换到语言模型,找到Ollama,打开右侧的开关。我们需要做以下设置:

  • Ollama服务地址:如果是本地部署的,直接填http://127.0.0.11434
  • 使用客户端请求模式:打开,否则Ollama服务地址的情况会比较复杂
  • 模型列表:配置好Ollama服务地址后,这地方就会自动显示可用的模型,自行选择即可。
    LobeChat

2️⃣ 与大模型对话

上述配置好之后,回到主页面,我们随便打开一个新的聊天界面,在顶部选择你想使用的大模型,就可以开始对话啦,速度和效果直接拉满!
LobeChat

除此之外,LobeChat还内置了大量的预设助手,你可以根据自己的需要选择使用。
LobeChat

以上,就大功告成了。如果你有性能不错的服务器或NAS,也可以把Ollama和LobeChat都跑在上面,这样你就可以不受电脑的束缚,只需要打开浏览器(LobeChat支持PWA应用,对移动端适配的也不错)就可使用了。

⏬ 获取Ollama

最后,笔者也整理了Ollama的安装包,需要的话可以在笔者公众号私信【Ollama】即可快速获取下载链接,打开链接后根据自己的平台下载即可。
🐦‍🔥Ollama+LobeChat:在个人电脑上打造无限制、高颜值、免费的专属大模型助手!

原创不易,如果觉得此文对你有帮助,不妨点赞+收藏+关注,你的鼓励是我持续创作的动力!

高等精灵实验室

原创文章,作者:诺多,如若转载,请注明出处:https://www.huluohu.com/posts/1125/

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
🪸 SPlayer:又一款颜值爆表的音乐播放器
上一篇 2024年8月30日 07:00
✈️ SmartProxy: 一款优秀的浏览器科学工具,一键开眼看世界!
下一篇 2024年9月3日 07:00

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注