gpt_academic支持API方式调用各种在线大语言模型如ChatGPT等,但是有些人可能没有在线大模型的API,或是想使用本地电脑部署的大语言模型,gpt_academic是支持调用本地电脑上安装的大语言模型的,本次以阿里通义千问大语言模型Qwen/Qwen-1_8B-Chat-Int8为例进行演示安装完整操作步骤。
首先将项目源码git到本地电脑上,终端窗口中运行如下命令:
git clone https://github.com/binary-husky/gpt_academic.git
然后cd进项目文件夹内安装依赖:
pip install -r requirements.txt
然后再运行下面命令安装Qwen_Local的依赖:
pip install -r request_llms/requirements_qwen_local.txt
使用本地模型还需要安装einops库,因为默认没有安装,运行时会报错缺少,运行如下命令安装:
pip install einops
默认安装的transformers版本等级过高,运行时会报错TypeError: isin() received an invalid combination of arguments – got (elements=Tensor, test_elements=int, ), but expected one of,所以你需要重新安装transformers,将版本降低到4.41.0以下
打开config.py文件,将35行左右的代码,AVAIL_LLM_MODELS内增加”qwen-local”,添加这一项的话在webUI中就可以选择本地大语言模型,

这样就初步完成了,运行下面命令启动webUI界面:
python main.py

在页面左上角【更换模型】中,可以选择qwen-local,在右侧输入区输入文本和大模型对话,第一次会自动下载模型文件
模型下载完成后即可使用gpt_academic完整功能
如果你不懂代码,不会自己部署的话,你可以使用我制作的一键启动整合包,看我另一篇文章介绍:《PDF/LaTex论文翻译、润色、总结gpt_academic整合包,PDF/Markdown翻译》
相关推荐
最近更新

虚拟试衣产品设计多图合成软件UNO一键启动整合包,人物转动漫工具
UNO是字节跳动开发的一款多主体图像生成软件,解决了角色或物体一致性的问题,可用于漫画、虚拟试衣等场景。我基于当前最新版本制作了免安装一键启动整合包。 UNO介绍 UNO是一款基于扩散模型的AI图像生成工具,核心目标是解决AI生成图像时难以...

临时邮箱,一次性匿名gmail.com邮箱
有时候网站需要测试一些功能,比如注册登录等,需要用到邮箱,但是自己的邮箱有限,不能更多的测试效果,这时候就需要一些不同后缀的一次性邮箱,网上有很多这样的一次性匿名邮箱,后缀很多,非常适合测试使用,下面分享几个比较好用的临时邮箱。 Gmail...

免费AI视频生成软件FramePack整合包下载,本地离线AI图片转视频工具
前段时间阿里开源了一个AI视频生成工具WAN2.1,可以实现文本转视频和图片转视频,虽说很强大,但是测试之后感觉软件对电脑配置要求太高了,感觉应该大部分用户都用不了,而且只支持720P视频,清晰度有些低,所以没和大家分享。前些天又出了一个更...

PDF OCR图片文字内容识别软件OCRmyPDF下载,免费PDF扫描内容转可搜索可复制工具
本次和大家分享一个非常热门强大的PDF文件内容OCR识别软件OCRmyPDF,这个软件可以将PDF内不可搜索的图片和文字识别转换为可复制可搜索的文本,并对PDF文件进行优化。 OCRmyPDF介绍 OCRmyPDF 为扫描的 PDF 文件添...

免费音效音乐生成软件AudioX整合包下载,快速音效配音工具
本次分享一个非常强大的音乐音效生成软件AudioX,这个软件可以通过提供文本、视频、图像、音乐和音频自动识别内容重新生成一段高质量的通用音频和音乐。 AudioX介绍 音频和音乐生成已成为众多应用中的关键任务,然而现有方法面临诸多限制:它们...

高质量高性能文本转语音系统index-tts整合包下载,高效声音克隆软件
今天再和大家分享另一个刚发布的强大的声音克隆软件index-tts,针对中文优化,效果有了极大提升,远超同类软件。稍微测试了一下,感觉要比我前天分享的spark-tts声音克隆效果更好一些,音频情感更丰富点。 index-tts声音克隆软件...

检测和删除高相似度图片软件AntiDupl免费下载
前几天整理手机图片,手机中拍了大量的图片,很多图片是连拍的,图片的相似度极高,甚至就是一模一样的图片,有时候看相册的时候会删除掉这些图片,有时候忘了删。在电脑上整理备份的时候这些高相似度的图片比较占空间,也会额外增加处理时间,所以想找个图片...

文本转语音及声音克隆软件Spark-TTS整合包下载
Spark-TTS是最近发布的一款比较热门的文字转语音及声音克隆软件,操作简单,效果强大。 Spark-TTS介绍 概述 Spark-TTS 是一款先进的文本转语音系统,它利用大型语言模型 (LLM) 的强大功能,实现高精度、自然的语音合成...

AI快速建模文本转3D模型软件Cube3D整合包,obj网格文件标记化处理工具
本次和大家分享另一个刚发布不久的文本转3D模型软件Cube3D,软件可以通过输入文本描述词AI快速生成3D网格模型文件,还支持OBJ文件标记化处理功能。 Cube3D介绍 Roblox 3D智能基础模型 Cube 3D是我们迈向3D智能的第...

免费图片视频摄像头换脸软件VisoMaster整合包下载,面部表情实时调节预览
本次再和大家分享一个上个月刚发布的换脸软件VisoMaster,软件支持图片视频换脸,也支持摄像头实时换脸,我制作了最新版一键启动整合包。 VisoMaster介绍 VisoMaster是一款功能强大且易于使用的工具,用于图像和视频中的面部...