1. 胡萝虎的博客首页
  2. NAS

🦓 保姆级：在NAS上使用Dify搭建一套大模型+知识库系统，你也是AI专家！

诺多 • • NAS, AI

Dify

关于大模型以及大模型相关的应用，相信这两年应该没人不知道了吧。无论是学习、工作或生活中，各种层出不穷的应用令人眼花缭乱，有充当翻译助手的、有写文章赚钱的、有写邮件写报告的、有写代码的等等等等，林林总总，只要你想的出来的花样，它都能给你整出个花活。下面是笔者自己使用的一些工具上内置的各种助手，各位可以感受一下：

Dify

你有没有想过，这些应用是怎么做出来的？我能不能自己也做一个？答案是：当然可以。

笔者此前使用FastGPT做过类似的事情，感兴趣的朋友可以到笔者的公众号或博客上查看。那么本篇要介绍的是一个更加开放、自由、强大的工具：Dify。

1️⃣ Dify简介

笔者就不自作聪明了，直接引用Dify官网的简介：

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎以及灵活的 Agent 框架，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

Dify

重要的是，Dify 是完全开源的，它由一个专业的全职团队和社区共同打造。你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力，在灵活的安全的基础上，同时保持对数据的完全控制。目前Dify平均每周都会发布一个新版本，其主要包含以下功能特性：

  • LLM支持：与 OpenAI 的 GPT 系列模型集成,或者与开源的 Llama2 系列模型集成。事实上，Dify支持主流的商业模型和开源模型(本地部署或基于 MaaS)。

  • Prompt IDE：和团队一起在 Dify 协作，通过可视化的 Prompt 和应用编排工具开发 AI 应用。 支持无缝切换多种大型语言模型。

  • RAG引擎：包括各种基于全文索引或向量数据库嵌入的 RAG 能力，允许直接上传 PDF、TXT 等各种文本格式。

  • AI Agent：基于 Function Calling 和 ReAct 的 Agent 推理框架，允许用户自定义工具，所见即所得。Dify 提供了十多种内置工具调用能力，如谷歌搜索、DELL·E、Stable Diffusion、WolframAlpha 等。

  • 持续运营：监控和分析应用日志和性能，使用生产数据持续改进 Prompt、数据集或模型。

2️⃣ 部署Dify

Dify是开源的，其官方也提供Saas版本，感兴趣的朋友可以去体验。但是其也支持私有化部署，使用Docker就可以轻松搭建一套属于自己的大模型平台，想想就很诱人！话不多说，直接开干！

开始前先简单介绍下部署Dify需要用到的组件，稍微有点多，但放心，有Docker你怕啥？

  • 关系数据库：postgres
  • 缓存：Redis
  • 向量数据库：支持weaviate、qdrant、milvus三选一
  • API服务：dify-api，使用api模式启动
  • 队列消费服务：dify-api，使用worker模式启动
  • Web管理：dify-web

以上6个组件实际上就对应6个Docker镜像，按照官方的提供的方法是可以放到一个compose.yml中的，但根据笔者多年玩Docker的经验，关系数据库、缓存、向量数据库都属于通用的中间件，建议单独部署。毕竟，还有其他应用也会用到这些组件，没必要跟Dify绑定。

1、部署postgres

version: '3.9'
services:
  postgres:
    image: postgres:15-alpine
    container_name: postgres
    restart: unless-stopped
    ports: 
      - 5432:5432 # 映射端口
    network_mode: bridge
    environment:
      - PGUSER=username #用户名
      - POSTGRES_PASSWORD=password # 密码
      - POSTGRES_DB=dify #默认数据库名称
      - TZ=Asia/Shanghai
      - PGDATA=/var/lib/postgresql/data/pgdata
    volumes:
      - /share/Container/postgresql/data:/var/lib/postgresql/data #挂载数据文件
    healthcheck:
      test: [ "CMD", "pg_isready" ]
      interval: 1s
      timeout: 3s
      retries: 30

温馨提示：请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。环境变量中的用户名、密码、默认数据库名称请自行修改，不想麻烦的就保持不变，后续部署Dify时需要填写正确

2、部署Redis

version: '3.9'
services:
  reids:
    image: redis:6-alpine
    container_name: reids 
    restart: unless-stopped
    tty: true
    network_mode: bridge 
    command: redis-server --requirepass 123456 # 启动命令，并设置密码为123456
    ports:
      - 6379:6379 # 映射端口
    volumes:
      - /share/Container/redis/data:/data #挂载数据文件
    ealthcheck:
      test: [ "CMD", "redis-cli", "ping" ]

请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。启动命令中的密码请自行修改，不想麻烦的就保持不变，后续部署Dify时需要填写正确

3、部署Weaviate
前文提到Dify支持3种向量数据库，笔者这里以weaviate为例

version: '3.9'
services:
  weaviate:
    image: semitechnologies/weaviate:1.19.0
    container_name: weaviate
    restart: unless-stopped
    network_mode: bridge
    environment:
      QUERY_DEFAULTS_LIMIT: 25
      AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false'
      PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
      DEFAULT_VECTORIZER_MODULE: 'none'
      CLUSTER_HOSTNAME: 'node1'
      AUTHENTICATION_APIKEY_ENABLED: 'true'
      AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih' # 访问密钥，请记得修改
      AUTHENTICATION_APIKEY_USERS: '[email protected]' # 可不填
      AUTHORIZATION_ADMINLIST_ENABLED: 'true'
      AUTHORIZATION_ADMINLIST_USERS: '[email protected]'  # 可不填
    ports:
     - 8080:8080 # 映射端口
    volumes:
      - /share/Container/weaviate/data:/var/lib/weaviate #挂载数据文件

温馨提示：请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。记得修改访问密钥，后续部署Dify时需要填写正确

4、部署Dify

这是主角，Dify一个包括三个组件，分别是api服务、worker服务和web前端，笔者就写在一个compose.yml里了。

version: '3.9'
services:
  # API 服务
  api:
    image: langgenius/dify-api:0.5.1
    restart: unless-stopped
    container_name: dify-api
    network_mode: bridge
    environment:
      # 启动模式：api
      MODE: api
      TZ: Asia/Shanghai
      # 代理服务，如果你的网络访问openai没问题，则把下面三个环境变量删掉。
      ALL_PROXY: http://192.168.31.20:7890
      HTTP_PROXY: http://192.168.31.20:7890
      NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90
      LOG_LEVEL: INFO
      # 用来对敏感信息签名或加密的密钥，建议修改一下
      SECRET_KEY: sSj7H0VwBdvf2S9Fn9Pm72agkER5lLXz2D4yANp0ZJQKCdnCHyJu9AMk
      # 如果你的web域名和api域名不一样的话可以设置下，笔者建议把两个域名保持一致，留空
      CONSOLE_WEB_URL: ''
      # 如果你的web域名和api域名不一样的话可以设置下，笔者建议把两个域名保持一致，留空
      CONSOLE_API_URL: ''
      # 这个是你在Dify中创建好一个应用，外部API调用时使用的域名，建议设置好
      SERVICE_API_URL: 'https://dify.yourdomain.fun'
      # 这个是你在Dify中创建好一个应用，分享链接打开网页时使用的域名，建议设置好
      APP_WEB_URL: 'https://dify.yourdomain.fun'
      # 预览或下载文件时使用的域名，建议设置好
      FILES_URL: 'https://dify.yourdomain.fun'
      MIGRATION_ENABLED: 'true'
      # postgres数据库用户名
      DB_USERNAME: username
      # postgres数据库密码
      DB_PASSWORD: password
      # postgres 地址
      DB_HOST: 192.168.31.91
      # postgres端口
      DB_PORT: 5432
      # postgres数据库名称
      DB_DATABASE: dify
      # Redis地址
      REDIS_HOST: 192.168.31.91
      # Redis端口
      REDIS_PORT: 6379
      REDIS_USERNAME: ''
      # Redis密码
      REDIS_PASSWORD: 123456
      REDIS_USE_SSL: 'false'
      REDIS_DB: 0
      # 参考Redis信息进行填写，例子：redis://:<REDIS_PASSWORD>@<REDIS_HOST>:<REDIS_PORT>/1
      CELERY_BROKER_URL: redis://:[email protected]:6379/1
      WEB_API_CORS_ALLOW_ORIGINS: '*'
      CONSOLE_CORS_ALLOW_ORIGINS: '*'
      STORAGE_TYPE: local
      STORAGE_LOCAL_PATH: storage
      # 向量数据库的类型
      VECTOR_STORE: weaviate
      # weaviate地址
      WEAVIATE_ENDPOINT: http://192.168.31.91:9080
      # weaviate密钥，部署weaviate时提到过
      WEAVIATE_API_KEY: WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih
      MAIL_TYPE: ''
      RESEND_API_KEY: ''
      RESEND_API_URL: https://api.resend.com
      SENTRY_DSN: ''
      SENTRY_TRACES_SAMPLE_RATE: 1.0
      SENTRY_PROFILES_SAMPLE_RATE: 1.0
    volumes:
       # 挂载数据文件
      - /share/Container/dify/app/storage:/app/api/storage
    ports:
       # 映射的端口
      - "5001:5001"

  # worker 服务，用于处理消息队列作业，环境变量与API模式完全相同
  worker:
    image: langgenius/dify-api:0.5.1
    container_name: dify-worker
    restart: unless-stopped
    network_mode: bridge
    environment:
      # 启动模式：worker
      MODE: worker
      TZ: Asia/Shanghai
      # 代理服务，如果你的网络访问openai没问题，则把下面三个环境变量删掉。
      ALL_PROXY: http://192.168.31.20:7890
      HTTP_PROXY: http://192.168.31.20:7890
      NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90
      LOG_LEVEL: INFO
      # 用来对敏感信息签名或加密的密钥，建议修改一下
      SECRET_KEY: sSj7H0VwBdvf2S9Fn9Pm72agkER5lLXz2D4yANp0ZJQKCdnCHyJu9AMk
      MIGRATION_ENABLED: 'true'
      # postgres数据库用户名
      DB_USERNAME: username
      # postgres数据库密码
      DB_PASSWORD: password
      # postgres 地址
      DB_HOST: 192.168.31.91
      # postgres端口
      DB_PORT: 5432
      # postgres数据库名称
      DB_DATABASE: dify
      # Redis地址
      REDIS_HOST: 192.168.31.91
      # Redis端口
      REDIS_PORT: 6379
      REDIS_USERNAME: ''
      # Redis密码
      REDIS_PASSWORD: 123456
      REDIS_USE_SSL: 'false'
      REDIS_DB: 0
      # 参考Redis信息进行填写，例子：redis://:<REDIS_PASSWORD>@<REDIS_HOST>:<REDIS_PORT>/1
      CELERY_BROKER_URL: redis://:[email protected]:6379/1
      WEB_API_CORS_ALLOW_ORIGINS: '*'
      CONSOLE_CORS_ALLOW_ORIGINS: '*'
      STORAGE_TYPE: local
      STORAGE_LOCAL_PATH: storage
      # 向量数据库的类型
      VECTOR_STORE: weaviate
      # weaviate地址
      WEAVIATE_ENDPOINT: http://192.168.31.91:9080
      # weaviate密钥，部署weaviate时提到过
      WEAVIATE_API_KEY: WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih
      MAIL_TYPE: ''
      # default send from email address, if not specified
      MAIL_DEFAULT_SEND_FROM: '[email protected]'
      # the api-key for resend (https://resend.com)
      RESEND_API_KEY: ''
      RESEND_API_URL: https://api.resend.com
    volumes:
       # 挂载数据文件
      - /share/Container/dify/app/storage:/app/api/storage

  # Web管理服务
  web:
    image: langgenius/dify-web:0.5.1
    container_name: dify-web
    restart: unless-stopped
    network_mode: bridge
    environment:
      # 自部署版本，其实还有个CLOUD版本（云端，类似Saas版），二者对团队/租户、登录方式、试用功能有些区别
      EDITION: SELF_HOSTED
      TZ: Asia/Shanghai
      ALL_PROXY: http://192.168.31.20:7890
      HTTP_PROXY: http://192.168.31.20:7890
      NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90
      # API服务的域名，笔者这边把api和web服务的域名都设置为同一个了
      CONSOLE_API_URL: 'https://dify.yourdomain.fun'
       # Web服务的域名，笔者这边把api和web服务的域名都设置为同一个了
      APP_API_URL: 'https://dify.yourdomain.fun'
      SENTRY_DSN: ''
    ports:
     # 映射的端口
      - "3000:3000"

温馨提示

  1. 请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。其中api和worker中使用的postgres、Redis、Weaviate参数完全是一样的。不同点是worker不需要对外提供服务
  2. 建议将api和web中涉及到的域名都设置为同一个，以免被各种域名绕晕了！如果没有域名，那就直接填你机器的IP，不是80/443端口的话，请不要把端口忘了
  3. 由于涉及的Docker比较多，请务必仔细检查各个参数、环境变量，以免填错

关于几个URL的详细说明

  • CONSOLE_API_URL
    控制台 API 后端 URL，用于拼接授权回调，传空则为同域。范例：https://api.console.yourdomain.com
  • CONSOLE_WEB_URL
    控制台 web 前端 URL，用于拼接部分前端地址，以及 CORS 配置使用，传空则为同域。范例：https://console.yourdomain.com
  • SERVICE_API_URL
    Service API URL，用于给前端展示 Service API Base URL，传空则为同域。范例：https://api.yourdomain.com
  • APP_API_URL
    WebApp API 后端 URL，用于声明前端 API 后端地址，传空则为同域。范例：https://app.yourdomain.com
  • APP_WEB_URL
    WebApp URL，用于给前端展示 WebAPP API Base URL，传空则为同域。范例：https://api.app.yourdomain.com
  • FILES_URL
    文件预览或下载 URL 前缀，用于将文件预览或下载 URL 给前端展示或作为多模态模型输入； 为了防止他人伪造，图片预览 URL 是带有签名的，并且有 5 分钟过期时间。

5、设置反代

如果你有域名的话，想在公网管理和访问Dify、或分享给朋友使用，那么需要先配置下反代才行（至于如何购买域名、如何解析，不在本篇讨论范围）。笔者分别准备了Nginx配置文件和NPM WebUI操作两种方法。

1、Nginx配置文件

在Nginx的/etc/nginx/config.d/default.conf中加入以下配置，注意将和改成实际的机器IP。

server {
    listen 80;
    server_name _;

    location /console/api {
      proxy_pass http://<api-ip>:5001;
      include proxy.conf;
    }

    location /api {
      proxy_pass http://<api-ip>:5001;
      include proxy.conf;
    }

    location /v1 {
      proxy_pass http://<api-ip>:5001;
      include proxy.conf;
    }

    location /files {
      proxy_pass http://<api-ip>:5001;
      include proxy.conf;
    }

    location / {
      proxy_pass http://<web-ip>:3000;
      include proxy.conf;
    }
}

2、NPM配置

NPM的配置与Nginx配置文件中的原理一样，与其他单服务的应用不同的是，在创建Proxy Host时，需要设置Custom locations，点击Add location添加多个location，参考上面Nginx配置文件添加即可。
Dify

3️⃣ Dify展示

以上全部完成后，使用ip或域名打开Dify，首次进入需要先创建一个管理员账号，填写邮箱、昵称和密码即可，创建完成后使用管理员账号登录。下图是笔者创建好的几个应用。
Dify

由于Dify的官网Wiki中有非常详细的用户手册，笔者就不再多此一举瞎唠叨了，简单截几个图意思意思一下，建议大家到官网学习。

1、创建应用
Dify

2、编排应用

🦓 保姆级：在NAS上使用Dify搭建一套大模型+知识库系统，你也是AI专家！
3、知识库
Dify4、内置工具
Dify

就这么多吧，原创不易，如果觉得此文对你有帮助，不妨点赞+收藏+关注，你的鼓励是我持续创作的动力！

高等精灵实验室

原创文章，作者：诺多，如若转载，请注明出处：https://www.huluohu.com/posts/946/

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 15

关于作者

诺多

诺多

656 文章
119 评论
0 粉丝
这个作者不懒，他正在折腾新玩意～
🐒 VueTorrent：一款超级哇塞好用的qBittorrent主题，支持移动端！
上一篇 2024年1月25日 00:52
🦄 幻兽帕鲁来啦！在NAS上也能轻松搭一个专用服务器，快喊上好兄弟一起来战斗！
下一篇 2024年1月26日 17:48

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

评论列表（15条）

  • 荒野孤灯
    荒野孤灯 2024年1月26日 22:29

    博主牛啊

    Reply
  • 555
    555 2024年3月22日 09:20

    博主你好，请问我这部署之后直接就是账号登录界面。这是对的吗？我不知道默认的账号密码。。

    Reply
    • 诺多
      诺多 2024年3月22日 09:49

      @555：我首次部署完是到创建管理员账号界面。

      Reply
    • mac
      mac 2025年2月19日 16:42

      @555：同样

      Reply
    • mac
      mac 2025年2月19日 16:43

      @555：同样，解决了吗？

      Reply
  • bill
    bill 2024年4月17日 11:56

    有没有极空间docker部署的教程！感谢！

    Reply
    • 1
      1 2025年2月19日 03:12

      @bill：docker还分那些个吗 :lol:

      Reply
  • zero
    zero 2024年11月7日 23:08

    博主您好，我部署redis 后一直没有无法启动请问是什么情况可以帮我看看吗？

    Reply
  • 大头
    大头 2025年2月22日 01:15

    有没有人解决呀，进去直接是登录界面，没有管理员注册界面呀

    Reply
  • jim85
    jim85 2025年4月18日 16:29

    界面没有注册的那句话，还有就是无需对外使用，那么Nginx和npm是否无需操作？

    Reply
  • 冰白菜
    冰白菜 2025年7月1日 15:37

    我也想知道，我就想给办公室的同事弄一个
    但是看了半天，什么反代、什么代理的 懵逼了
    如果就是在内网用是不是可以不要什么反代，另外这个东西的使用需要科学环境吗

    Reply