gpt_academic支持API方式调用各种在线大语言模型如ChatGPT等,但是有些人可能没有在线大模型的API,或是想使用本地电脑部署的大语言模型,gpt_academic是支持调用本地电脑上安装的大语言模型的,本次以阿里通义千问大语言模型Qwen/Qwen-1_8B-Chat-Int8为例进行演示安装完整操作步骤。
首先将项目源码git到本地电脑上,终端窗口中运行如下命令:
git clone https://github.com/binary-husky/gpt_academic.git
然后cd进项目文件夹内安装依赖:
pip install -r requirements.txt
然后再运行下面命令安装Qwen_Local的依赖:
pip install -r request_llms/requirements_qwen_local.txt
使用本地模型还需要安装einops库,因为默认没有安装,运行时会报错缺少,运行如下命令安装:
pip install einops
默认安装的transformers版本等级过高,运行时会报错TypeError: isin() received an invalid combination of arguments – got (elements=Tensor, test_elements=int, ), but expected one of,所以你需要重新安装transformers,将版本降低到4.41.0以下
打开config.py文件,将35行左右的代码,AVAIL_LLM_MODELS内增加”qwen-local”,添加这一项的话在webUI中就可以选择本地大语言模型,

这样就初步完成了,运行下面命令启动webUI界面:
python main.py

在页面左上角【更换模型】中,可以选择qwen-local,在右侧输入区输入文本和大模型对话,第一次会自动下载模型文件
模型下载完成后即可使用gpt_academic完整功能
如果你不懂代码,不会自己部署的话,你可以使用我制作的一键启动整合包,看我另一篇文章介绍:《PDF/LaTex论文翻译、润色、总结gpt_academic整合包,PDF/Markdown翻译》
相关推荐
最近更新

PDF/图片转markdown软件MonkeyOCR整合包,文档图片解析工具下载
MonkeyOCR是上个月刚发布的一款文档解析工具,可以将PDF文档或图片识别转换为markdown格式文件。官方测试显示性能极佳。我基于当前最新版制作了免安装一键启动整合包,支持批量操作,并降低了显卡要求。 MonkeyOCR官方介绍 M...

AI视频变现项目,完整详细教程20250628期

即梦AI:创作者的强力“外挂”!免费积分等你领取
还在为创作图片、故事及视频内容而烦恼吗?朋友,你需要一个靠谱的“智能搭子”了!那就是即梦AI,就是那个能让你事半功倍、脑洞大开的神奇伙伴! 即梦AI,到底是什么? 简单说,即梦AI是字节跳动旗下一个强大、易用且懂你的一站式AI创作平台。&n...

支付宝发现金红包了!支付宝的羊毛快来薅💰️💰️
支付宝小荷包搞活动啦,新用户加入立得2元无门槛现金红包。 支付宝小荷包是支付宝推出的一款便捷的零钱管理工具,适合日常小额支付和理财。 什么是支付宝小荷包? 支付宝小荷包,简单来说,就像是你在支付宝里的“私人金库”。它不仅支持快速转账、收款,...

美团官方发福利,吃喝玩乐外卖神券天天领
美团官方发福利了,加美团企业微信,每天免费领各种吃喝玩乐神券,领取福利流程如下: 1、微信扫码登录↓↓↓ 2、长按添加美团企业微信 3、天天领券 每日签到领取更多红包 更有超多促销活动,限时活动,低价爆品等,让你放肆嗨吃嗨喝!

免费PDF文档翻译软件BabelDOC整合包下载,AI一键PDF全文翻译工具
分享另一个热门的PDF文档翻译软件BabelDOC,软件可以将PDF文档由原语言翻译成指定语言文档,基于在线大语言模型处理能力,文档翻译效果更准确,并保留排版,支持批量文档翻译,我制作了最新版免安装一键启动整合包。 BabelDOC介绍 另...

AI歌曲创作软件YuE整合包下载,一键谱曲演唱音乐生成器
YuE:开放的全曲音乐生成基础模型,可免费一键生成完整歌曲,AI作曲,AI演唱,是一个高质量的AI音乐生成软件。我制作了最新的面安装一键启动整合包。 YuE介绍 YuE 是一系列突破性的开源基础模型,专为音乐生成而设计,尤其适用于将歌词转化...

可灵AI会员专属优惠邀请码,限时福利领取
可灵AI发福利了,通过专属优惠邀请码 6BZPEJK83JZ9 可额外获得50%灵感值。 现在图片、音乐、视频等等,啥都可以用AI生成,可灵AI就是快手旗下非常强大的一个AI内容创作平台,功能多样,效果强大。我最近半年几乎每周都会使用多次,...

多人对话语音合成软件CSM整合包,AI多人文字转语音工具
CSM是发布不久的一款多人对话语音生成模型,声音自然延迟低,同时支持克隆音色语音合成,我基于当前最新版本制作了免安装一键启动整合包。 Sesame CSM介绍 CSM(Conversational Speech Model) 是由...

AI自动化任务执行工具OpenManus一键启动整合包
OpenManus是另一款AI自动化任务执行软件,是Manus的开源实现,无需邀请码,本地运行,我基于当前最新版本制作了免安装一键启动整合包。 OpenManus介绍 OpenManus 是一个开源复刻版 AI 智能体框架,由 MetaGP...