Groq本身是一家专注于人工智能芯片研发的公司，随着大模型的爆发，也加入到这场盛宴，提供类似OpenAI的大模型推理服务。笔者介绍的就是这家公司提供的公益项目，简单来说就是免费为用户提供大模型推理服务，没有任何套路，目前已推出包括Gemma、Llama、Mixtral在内的10种不同级别的模型，另外还支持2种TTS模型，强烈建议需要的朋友入手。
🦀 获取Groq Key
1️⃣ 注册Groq
打开下面的网址，注册一个账号并登录，或者直接使用Github或Google账号登录。
https://console.groq.com/login
2️⃣ 创建Key
打开API Keys菜单，点击Create API Key创建一个用于调用大模型推理的Key。
3️⃣ 关于使用的限制
因为是完全免费的服务，自然会有些限制，否则分分钟就会被刷嘎掉，这对于一个公益项目来说还是有必要的。具体可见下图，基本上就是对每分钟和每天的调用次数、每分钟和每天的Token上限做了一些限制，大部分没有每日Token上限，对于个人来说完全够用了。
🦀 使用Groq
剩下的就是如何使用了，用了API Key以后就好办了。很多大模型客户端都支持直接接入Groq，包括Oneapi、Dify、NextChat、LobeChat等。下面简单介绍在LobeChat如何使用。
首先启动LobeChat，打开应用设置->语言模型，找到groq配置项。
- 如果直连groq，则API代理地址空着即可；如果使用Oneapi这类的代理服务，则填写代理地址。
- 如果直连groq，则API Key填写在groq网站创建的Key；如果使用Oneapi这类的代理服务，则填写代理中的Key。
- 模型列表全选即可。
然后关闭设置界面，回到聊天界面，点击左下角1所在的按钮，选择groq中的模型，以Gemma2 9B为例。
下面就可以开始与大模型愉快聊天了，不得不说，速度杠杠的，完全不输OpenAI！
笔者试玩了一会，以正常的速度使用的话，没有触发过限制，总体来说速度没得说，质量也过的去，非常值得入手作为后备模型池的一员。
原创不易，如果觉得此文对你有帮助，不妨点赞+收藏+关注，你的鼓励是我持续创作的动力！
原创文章，作者：诺多，如若转载，请注明出处：https://www.huluohu.com/posts/1156/
微信扫一扫 
支付宝扫一扫 
评论列表（1条）
现在的ai大模型挺多的 免费的也挺不错 至于chat gpt嘛 轻量用户使用也够了