localGPT是一个基于文档内容进行聊天对话的应用,它可以根据你提供的文档,利用Meta最新开源的大语言模型对文档内容进行分析总结,然后你可以围绕这些文档提出内容,localGPT会根据文档内容回答你的问题,本应用为免费开源应用,原项目地址:https://github.com/PromtEngineer/localGPT
localGPT特点
- 最高程度的隐私:您的数据保留在您的计算机上,确保 100% 的安全。
- 多种模型支持:无缝集成多种开源模型,包括HF、GPTQ、GGML和GGUF。
- 多样化的嵌入:从一系列开源嵌入中进行选择。
- 重复使用您的 LLM:下载后,可重复使用您的 LLM,无需重复下载。
- 聊天记录:记住您之前的对话(在会话中)。
- API:LocalGPT 有一个 API,您可以使用它来构建 RAG 应用程序。
- 图形界面:LocalGPT 带有两个 GUI,一个使用 API,另一个是独立的(基于 streamlit)。
- GPU、CPU 和 MPS 支持:开箱即用,支持多种平台,使用等
CUDA
与您的数据聊天!CPU
MPS
localGPT用法
我制作了最新版的一键启动整合包,下载链接见文章末尾。首先到网盘里将软件完整压缩包localGPT.7z下载到电脑上并解压,然后将你需要分析对话的文档复制到SOURCE_DOCUMENTS文件夹内,可以是一个文档也可以是多个,支持多种格式类型的文档,如:html,txt,md,py,pdf,csv,xls,xlsx,docx,doc,然后再双击运行【0分析文档内容.exe】,


等到窗口输出importing:xxx文档名,Press any key to continue…等信息的时候就说明文档已经分析完成了,在DB文件夹内可以看到生成的文档相关的文件,然后再运行【1启动对话.exe】

等到看到窗口输出Enter a query:的时候你就可以输入文字开始对话了,你可以询问任何关于文档内容的问题,可以输入英文也可以输入中文等,支持多种语言,可以进行连续对话。
由于使用GPU计算,对电脑显卡有要求,我默认使用的是Llama-3.2-1B-Instruct模型,Meta开源最新3.2版10亿参数的模型,如果你电脑显卡显存在8G以上的话,可以使用Meta-Llama-3-8B-Instruct模型,80亿参数模型更大,效果也更好,使用Meta-Llama-3-8B-Instruct模型的方法为:
在网盘里将这个模型压缩包下载到huggingface文件夹内并解压,然后打开constants.py文件,将第112行的代码MODEL_ID = os.path.join(MODELS_PATH, “Llama-3.2-1B-Instruct”)最前面添加一个“#”号将这行代码注释掉,然后将第111行的代码#MODEL_ID = os.path.join(MODELS_PATH, “Meta-Llama-3-8B-Instruct”)最前面的这个“#”删除掉,保存并关闭这个文件,然后重新运行分析文档和启动对话即可。
如果你的电脑配置更高,想要使用更大的模型的话,你可以到https://modelscope.cn/organization/LLM-Research?tab=model下载你想要的模型,放到huggingface文件夹内,并按上述操作步骤修改constants.py文件内的模型ID名字
本整合包只支持Windows电脑版,不支持其它系统使用,有感兴趣的可以自行下载体验
基于文档内容的聊天对话软件localGPT整合包下载:
相关推荐
最新版PDF转Markdown格式软件MinerU一键启动整合包v0.10.0下载
批量PDF文档转MD格式软件marker整合包下载,PDF文件转Markdown格式文件工具
人脸图片处理换脸软件facefusion整合包下载,改变年龄重建表情工具
免费文字转语音软件EmotiVoice整合包下载,TTS情感语音合成工具
2D图片转3D模型软件,AI建模工具Wonder3D整合包下载
音频驱动口型图片转视频软件hallo整合包免费下载,AI视频制作工具
全自动漫画图片翻译软件manga-image-translator整合包下载,日文漫画翻译中文神器
音频驱动口型生成视频软件video-retalking整合包免费下载,基于音频的唇形同步工具
最近更新

支付宝发现金红包了!支付宝的羊毛快来薅💰️💰️
支付宝小荷包搞活动啦,新用户加入立得2元无门槛现金红包。 支付宝小荷包是支付宝推出的一款便捷的零钱管理工具,适合日常小额支付和理财。 什么是支付宝小荷包? 支付宝小荷包,简单来说,就像是你在支付宝里的“私人金库”。它不仅支持快速转账、收款,...

美团官方发福利,吃喝玩乐外卖神券天天领
美团官方发福利了,加美团企业微信,每天免费领各种吃喝玩乐神券,领取福利流程如下: 1、微信扫码登录↓↓↓ 2、长按添加美团企业微信 3、天天领券 每日签到领取更多红包 更有超多促销活动,限时活动,低价爆品等,让你放肆嗨吃嗨喝!

免费PDF文档翻译软件BabelDOC整合包下载,AI一键PDF全文翻译工具
分享另一个热门的PDF文档翻译软件BabelDOC,软件可以将PDF文档由原语言翻译成指定语言文档,基于在线大语言模型处理能力,文档翻译效果更准确,并保留排版,支持批量文档翻译,我制作了最新版免安装一键启动整合包。 BabelDOC介绍 另...

AI歌曲创作软件YuE整合包下载,一键谱曲演唱音乐生成器
YuE:开放的全曲音乐生成基础模型,可免费一键生成完整歌曲,AI作曲,AI演唱,是一个高质量的AI音乐生成软件。我制作了最新的面安装一键启动整合包。 YuE介绍 YuE 是一系列突破性的开源基础模型,专为音乐生成而设计,尤其适用于将歌词转化...

可灵AI会员专属优惠邀请码,限时福利领取
可灵AI发福利了,通过专属优惠邀请码 6BZPEJK83JZ9 可额外获得50%灵感值。 现在图片、音乐、视频等等,啥都可以用AI生成,可灵AI就是快手旗下非常强大的一个AI内容创作平台,功能多样,效果强大。我最近半年几乎每周都会使用多次,...

多人对话语音合成软件CSM整合包,AI多人文字转语音工具
CSM是发布不久的一款多人对话语音生成模型,声音自然延迟低,同时支持克隆音色语音合成,我基于当前最新版本制作了免安装一键启动整合包。 Sesame CSM介绍 CSM(Conversational Speech Model) 是由...

AI自动化任务执行工具OpenManus一键启动整合包
OpenManus是另一款AI自动化任务执行软件,是Manus的开源实现,无需邀请码,本地运行,我基于当前最新版本制作了免安装一键启动整合包。 OpenManus介绍 OpenManus 是一个开源复刻版 AI 智能体框架,由 MetaGP...

CAMEL-AI开源多智能体协作框架OWL一键整合包,自动化任务助手
OWL 是由 CAMEL-AI 团队开发的开源多智能体协作框架,旨在通过动态智能体交互实现复杂任务的自动化处理,在 GAIA 基准测试中以 69.09 分位列开源框架榜首,被誉为“Manus 的开源平替”。我基于当前最新...

微软PDF/WORD/HTML文档转Markdown格式软件markitdown整合包下载
本次和大家分享另一个微软发布的非常热门的文件文档转Markdown格式文档的软件markitdown,软件可以将PDF,word,ppt,Excel等十几种格式文档转换为markdown格式文档,我基于当前最新0.1.2版本制作了免安装一键...

AI描述万物软件describe-anything整合包,精准描述图片视频中指定区域内容
本次和大家分享一个英伟达联合其他大学开发的一款应用describe-anything,该应用可以通过AI识别分析并详细描述图片视频中指定区域物体内容,我基于最新版制作了免安装一键启动整合包。 describe-anything介绍 Desc...