localGPT是一个基于文档内容进行聊天对话的应用,它可以根据你提供的文档,利用Meta最新开源的大语言模型对文档内容进行分析总结,然后你可以围绕这些文档提出内容,localGPT会根据文档内容回答你的问题,本应用为免费开源应用,原项目地址:https://github.com/PromtEngineer/localGPT
localGPT特点
- 最高程度的隐私:您的数据保留在您的计算机上,确保 100% 的安全。
- 多种模型支持:无缝集成多种开源模型,包括HF、GPTQ、GGML和GGUF。
- 多样化的嵌入:从一系列开源嵌入中进行选择。
- 重复使用您的 LLM:下载后,可重复使用您的 LLM,无需重复下载。
- 聊天记录:记住您之前的对话(在会话中)。
- API:LocalGPT 有一个 API,您可以使用它来构建 RAG 应用程序。
- 图形界面:LocalGPT 带有两个 GUI,一个使用 API,另一个是独立的(基于 streamlit)。
- GPU、CPU 和 MPS 支持:开箱即用,支持多种平台,使用等
CUDA
与您的数据聊天!CPU
MPS
localGPT用法
我制作了最新版的一键启动整合包,下载链接见文章末尾。首先到网盘里将软件完整压缩包localGPT.7z下载到电脑上并解压,然后将你需要分析对话的文档复制到SOURCE_DOCUMENTS文件夹内,可以是一个文档也可以是多个,支持多种格式类型的文档,如:html,txt,md,py,pdf,csv,xls,xlsx,docx,doc,然后再双击运行【0分析文档内容.exe】,


等到窗口输出importing:xxx文档名,Press any key to continue…等信息的时候就说明文档已经分析完成了,在DB文件夹内可以看到生成的文档相关的文件,然后再运行【1启动对话.exe】

等到看到窗口输出Enter a query:的时候你就可以输入文字开始对话了,你可以询问任何关于文档内容的问题,可以输入英文也可以输入中文等,支持多种语言,可以进行连续对话。
由于使用GPU计算,对电脑显卡有要求,我默认使用的是Llama-3.2-1B-Instruct模型,Meta开源最新3.2版10亿参数的模型,如果你电脑显卡显存在8G以上的话,可以使用Meta-Llama-3-8B-Instruct模型,80亿参数模型更大,效果也更好,使用Meta-Llama-3-8B-Instruct模型的方法为:
在网盘里将这个模型压缩包下载到huggingface文件夹内并解压,然后打开constants.py文件,将第112行的代码MODEL_ID = os.path.join(MODELS_PATH, “Llama-3.2-1B-Instruct”)最前面添加一个“#”号将这行代码注释掉,然后将第111行的代码#MODEL_ID = os.path.join(MODELS_PATH, “Meta-Llama-3-8B-Instruct”)最前面的这个“#”删除掉,保存并关闭这个文件,然后重新运行分析文档和启动对话即可。
如果你的电脑配置更高,想要使用更大的模型的话,你可以到https://modelscope.cn/organization/LLM-Research?tab=model下载你想要的模型,放到huggingface文件夹内,并按上述操作步骤修改constants.py文件内的模型ID名字
本整合包只支持Windows电脑版,不支持其它系统使用,有感兴趣的可以自行下载体验
基于文档内容的聊天对话软件localGPT整合包下载:
相关推荐
最新版PDF转Markdown格式软件MinerU一键启动整合包v0.10.0下载
批量PDF文档转MD格式软件marker整合包下载,PDF文件转Markdown格式文件工具
人脸图片处理换脸软件facefusion整合包下载,改变年龄重建表情工具
免费文字转语音软件EmotiVoice整合包下载,TTS情感语音合成工具
2D图片转3D模型软件,AI建模工具Wonder3D整合包下载
音频驱动口型图片转视频软件hallo整合包免费下载,AI视频制作工具
全自动漫画图片翻译软件manga-image-translator整合包下载,日文漫画翻译中文神器
音频驱动口型生成视频软件video-retalking整合包免费下载,基于音频的唇形同步工具
最近更新

凡人修仙传动画韩立高清图片壁纸素材AI绘画图集
恭迎韩天尊! 祝贺韩天尊顺利结婴! 热门国漫凡人修仙传动画已经更新了5年了,最新一集,主人公韩立顺利结婴,成为一名元婴修士。我属于是比较喜欢看动漫的,看过的动漫估计没过百也得大几十了,热门国漫大多都看过。凡人修仙传算是最喜欢的动漫之一,韩立...

凡人修仙传动画紫灵高清图片壁纸素材AI绘画图集,AI国漫女神系列
凡人修仙传动画乱星海第一美女紫灵是大家非常喜欢的一个角色,动画人物造型精美,是众多女性角色中最受欢迎之一,热度极高。很多人喜欢收集紫灵的图片,但是视频里截图的话可能截不到喜欢的图,下面分享一些紫灵的AI绘画图片素材,图片都是SD生成的,都是...

凡人修仙传动画宋玉高清图片壁纸素材AI绘画图集,AI国漫女神系列
凡人修仙传动画里宋玉是大家比较喜欢的一个角色,动画人物造型精美,当前热度极高。虽然凡人修仙传原著里只是韩老魔的弟子,但是很多短视频创作者非常能整活,已经把宋玉纳入韩老魔后宫了。很多人喜欢收集宋玉的图片,但是视频里截图的话可能截不到喜欢的图,...

凡人修仙传动画人物梅凝高清壁纸素材AI绘画图片,AI国漫女神系列
有些人比较喜欢凡人修仙传动画里梅凝这个角色,视频里截图的话可能截不到喜欢的图,下面分享一些梅凝的AI绘画图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。部分梅凝图片如下: 图片及模型文件下载链接: https://pa...

凡人修仙传动画人物范静梅高清壁纸素材图片,AI国漫女神系列
本次分享的是凡人修仙传动画人物范静梅的AI图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。部分范静梅图片如下: 图片及模型文件下载链接: https://pan.xunlei.com/s/VOXgauAl7VsuksE...

凡人修仙传动画银月高清壁纸素材图片,AI国漫女神系列
本次分享的是凡人修仙传动画人物银月AI图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。这次生成的不多,部分图片如下: 图片及模型文件下载链接: https://pan.quark.cn/s/1bd714c2d5e7 h...

图片元数据信息删除工具,支持windows/mac/Linux
有些图片可能会附带很多的信息,如果你想把图片的元数据信息删除的话,可以使用exifcleaner,这是一款用于清理图像元数据的跨平台桌面 GUI 应用程序,软件支持支持 Linux、macOS 10.10+ 和 Windows 7+(仅限 ...

凡人修仙传动画慕沛灵高清壁纸图片,单人AI图片素材
最近需要用到凡人修仙传动画里人物图片,直接在视频里截图的话要么身体姿势不对要么就身体不完整等,截不到想要的图,然后就炼了一批AI图,这次分享的这些都是慕沛灵的单人图片,全身照,都是高清的,由于只需要竖屏,所以我没生成横屏图片。喜欢的可以拿去...

免费在线视频去水印工具方法
本次分享一个免费的在线视频去水印工具–记灵 这个在线工具目前是完全免费的,上传mp4视频文件,然后鼠标框选去水印区域,然后点击处理等待处理完成就可以了,操作非常简单。 这个去水印工具是采用打码的方式覆盖原水印区域的,并不是AI智...

即梦AI(可灵)视频制作9种电影级运镜提示词,小白秒变大导演
视频制作方式多种多样,想做出一个观感体验极佳的精彩视频,运镜效果少不了。这里整理了9种实用的电影级运镜方式,学会这些运镜小白也可以成为大导演。你可以将这些运镜效果用在即梦或可灵AI中视频生成的时候,提供了运镜参考关键词,如果不会写关键词的,...