AI软件下载
有趣网站推荐及实用软件下载

gpt_academic使用本地电脑部署通义千问Qwen大语言模型操作教程

gpt_academic支持API方式调用各种在线大语言模型如ChatGPT等,但是有些人可能没有在线大模型的API,或是想使用本地电脑部署的大语言模型,gpt_academic是支持调用本地电脑上安装的大语言模型的,本次以阿里通义千问大语言模型Qwen/Qwen-1_8B-Chat-Int8为例进行演示安装完整操作步骤。

首先将项目源码git到本地电脑上,终端窗口中运行如下命令:

git clone https://github.com/binary-husky/gpt_academic.git

然后cd进项目文件夹内安装依赖:

pip install -r requirements.txt

然后再运行下面命令安装Qwen_Local的依赖:

pip install -r request_llms/requirements_qwen_local.txt

使用本地模型还需要安装einops库,因为默认没有安装,运行时会报错缺少,运行如下命令安装:

pip install einops

默认安装的transformers版本等级过高,运行时会报错TypeError: isin() received an invalid combination of arguments – got (elements=Tensor, test_elements=int, ), but expected one of,所以你需要重新安装transformers,将版本降低到4.41.0以下

打开config.py文件,将35行左右的代码,AVAIL_LLM_MODELS内增加”qwen-local”,添加这一项的话在webUI中就可以选择本地大语言模型,

gpt_academic使用本地电脑部署通义千问Qwen大语言模型操作教程

这样就初步完成了,运行下面命令启动webUI界面:

python main.py
gpt_academic使用本地电脑部署通义千问Qwen大语言模型操作教程

在页面左上角【更换模型】中,可以选择qwen-local,在右侧输入区输入文本和大模型对话,第一次会自动下载模型文件

模型下载完成后即可使用gpt_academic完整功能

如果你不懂代码,不会自己部署的话,你可以使用我制作的一键启动整合包,看我另一篇文章介绍:《PDF/LaTex论文翻译、润色、总结gpt_academic整合包,PDF/Markdown翻译


AI软件用不了?2元爽玩4090: 立即体验>>

热门大语言模型API免费体验: 立即获取>>

软件催更及1对1人工答疑支持: https://nuowa.net/1806
赞(0) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

祝贺凡人修仙传2026年新年番开播同时在线人数超64万-诺瓦小站

祝贺凡人修仙传2026年新年番开播同时在线人数超64万

今天6月13日凡人修仙传新年番开播,同时在线人数破64万(非最高在线人数,只是我看到的在线人数),作为凡人5年老粉,必须发个帖祝贺一下。 我比较喜欢看动漫,各种类型看了很多,具体不清楚多少,像斗罗斗破之类看了一大半终究是没能看下去,还是雾山...

Claude居然自称“本人”-诺瓦小站

Claude居然自称“本人”

今天在和Claude聊网文写作的时候,Claude回复中居然自称本人,这让我有点震惊。 我经常会和AI聊工具功能对比等话题,ChatGPT、Gemini、Claude这些以前我记得从来没有自称过本人的,好像都是本模型,本工具等等,反正从来没...

免费在线HTML转markdown工具

经常看一些在线文档,想复制给AI参考的话不方便直接复制,转换成markdown再给AI阅读会更简单明了,也方便自己查阅,这里给大家推荐两个在线的免费HTML转markdown网站。 1、https://d1tools.com/tools/c...

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫