AI软件下载
有趣网站推荐及实用软件下载
当前位置：诺瓦小站 AI软件 正文

gpt_academic使用本地电脑部署通义千问Qwen大语言模型操作教程

2024-11-09 分类：AI软件 评论(0)

gpt_academic支持API方式调用各种在线大语言模型如ChatGPT等，但是有些人可能没有在线大模型的API，或是想使用本地电脑部署的大语言模型，gpt_academic是支持调用本地电脑上安装的大语言模型的，本次以阿里通义千问大语言模型Qwen/Qwen-1_8B-Chat-Int8为例进行演示安装完整操作步骤。

首先将项目源码git到本地电脑上，终端窗口中运行如下命令：

git clone https://github.com/binary-husky/gpt_academic.git

然后cd进项目文件夹内安装依赖：

pip install -r requirements.txt

然后再运行下面命令安装Qwen_Local的依赖：

pip install -r request_llms/requirements_qwen_local.txt

使用本地模型还需要安装einops库，因为默认没有安装，运行时会报错缺少，运行如下命令安装：

pip install einops

默认安装的transformers版本等级过高，运行时会报错TypeError: isin() received an invalid combination of arguments – got (elements=Tensor, test_elements=int, ), but expected one of,所以你需要重新安装transformers，将版本降低到4.41.0以下

打开config.py文件，将35行左右的代码，AVAIL_LLM_MODELS内增加”qwen-local”，添加这一项的话在webUI中就可以选择本地大语言模型，

这样就初步完成了，运行下面命令启动webUI界面：

python main.py

在页面左上角【更换模型】中，可以选择qwen-local，在右侧输入区输入文本和大模型对话，第一次会自动下载模型文件

模型下载完成后即可使用gpt_academic完整功能

如果你不懂代码，不会自己部署的话，你可以使用我制作的一键启动整合包，看我另一篇文章介绍：《PDF/LaTex论文翻译、润色、总结gpt_academic整合包，PDF/Markdown翻译》


AI软件用不了？2元爽玩4090： 立即体验>>

软件催更及1对1人工答疑支持： https://nuowa.net/1806
赞(0) 打赏
软件无法使用？点击查看常见问题说明>>
分享到

相关推荐

最近更新

热门文章

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏，我将有更多的动力继续提供优质内容，让我们一起创建更加美好的世界！

支付宝扫一扫

微信扫一扫