localGPT是一个基于文档内容进行聊天对话的应用,它可以根据你提供的文档,利用Meta最新开源的大语言模型对文档内容进行分析总结,然后你可以围绕这些文档提出内容,localGPT会根据文档内容回答你的问题,本应用为免费开源应用,原项目地址:https://github.com/PromtEngineer/localGPT
localGPT特点
- 最高程度的隐私:您的数据保留在您的计算机上,确保 100% 的安全。
- 多种模型支持:无缝集成多种开源模型,包括HF、GPTQ、GGML和GGUF。
- 多样化的嵌入:从一系列开源嵌入中进行选择。
- 重复使用您的 LLM:下载后,可重复使用您的 LLM,无需重复下载。
- 聊天记录:记住您之前的对话(在会话中)。
- API:LocalGPT 有一个 API,您可以使用它来构建 RAG 应用程序。
- 图形界面:LocalGPT 带有两个 GUI,一个使用 API,另一个是独立的(基于 streamlit)。
- GPU、CPU 和 MPS 支持:开箱即用,支持多种平台,使用等
CUDA
与您的数据聊天!CPU
MPS
localGPT用法
我制作了最新版的一键启动整合包,下载链接见文章末尾。首先到网盘里将软件完整压缩包localGPT.7z下载到电脑上并解压,然后将你需要分析对话的文档复制到SOURCE_DOCUMENTS文件夹内,可以是一个文档也可以是多个,支持多种格式类型的文档,如:html,txt,md,py,pdf,csv,xls,xlsx,docx,doc,然后再双击运行【0分析文档内容.exe】,


等到窗口输出importing:xxx文档名,Press any key to continue…等信息的时候就说明文档已经分析完成了,在DB文件夹内可以看到生成的文档相关的文件,然后再运行【1启动对话.exe】

等到看到窗口输出Enter a query:的时候你就可以输入文字开始对话了,你可以询问任何关于文档内容的问题,可以输入英文也可以输入中文等,支持多种语言,可以进行连续对话。
由于使用GPU计算,对电脑显卡有要求,我默认使用的是Llama-3.2-1B-Instruct模型,Meta开源最新3.2版10亿参数的模型,如果你电脑显卡显存在8G以上的话,可以使用Meta-Llama-3-8B-Instruct模型,80亿参数模型更大,效果也更好,使用Meta-Llama-3-8B-Instruct模型的方法为:
在网盘里将这个模型压缩包下载到huggingface文件夹内并解压,然后打开constants.py文件,将第112行的代码MODEL_ID = os.path.join(MODELS_PATH, “Llama-3.2-1B-Instruct”)最前面添加一个“#”号将这行代码注释掉,然后将第111行的代码#MODEL_ID = os.path.join(MODELS_PATH, “Meta-Llama-3-8B-Instruct”)最前面的这个“#”删除掉,保存并关闭这个文件,然后重新运行分析文档和启动对话即可。
如果你的电脑配置更高,想要使用更大的模型的话,你可以到https://modelscope.cn/organization/LLM-Research?tab=model下载你想要的模型,放到huggingface文件夹内,并按上述操作步骤修改constants.py文件内的模型ID名字
本整合包只支持Windows电脑版,不支持其它系统使用,有感兴趣的可以自行下载体验
基于文档内容的聊天对话软件localGPT整合包下载:
https://pan.quark.cn/s/dedd1428a841
相关推荐
最新版PDF转Markdown格式软件MinerU一键启动整合包v0.10.0下载
批量PDF文档转MD格式软件marker整合包下载,PDF文件转Markdown格式文件工具
人脸图片处理换脸软件facefusion整合包下载,改变年龄重建表情工具
免费文字转语音软件EmotiVoice整合包下载,TTS情感语音合成工具
2D图片转3D模型软件,AI建模工具Wonder3D整合包下载
音频驱动口型图片转视频软件hallo整合包免费下载,AI视频制作工具
全自动漫画翻译软件manga-image-translator整合包下载,日文漫画翻译中文神器
音频驱动口型生成视频软件video-retalking整合包免费下载,基于音频的唇形同步工具
最近更新

虚拟试衣产品设计多图合成软件UNO一键启动整合包,人物转动漫工具
UNO是字节跳动开发的一款多主体图像生成软件,解决了角色或物体一致性的问题,可用于漫画、虚拟试衣等场景。我基于当前最新版本制作了免安装一键启动整合包。 UNO介绍 UNO是一款基于扩散模型的AI图像生成工具,核心目标是解决AI生成图像时难以...

临时邮箱,一次性匿名gmail.com邮箱
有时候网站需要测试一些功能,比如注册登录等,需要用到邮箱,但是自己的邮箱有限,不能更多的测试效果,这时候就需要一些不同后缀的一次性邮箱,网上有很多这样的一次性匿名邮箱,后缀很多,非常适合测试使用,下面分享几个比较好用的临时邮箱。 Gmail...

免费AI视频生成软件FramePack整合包下载,本地离线AI图片转视频工具
前段时间阿里开源了一个AI视频生成工具WAN2.1,可以实现文本转视频和图片转视频,虽说很强大,但是测试之后感觉软件对电脑配置要求太高了,感觉应该大部分用户都用不了,而且只支持720P视频,清晰度有些低,所以没和大家分享。前些天又出了一个更...

PDF OCR图片文字内容识别软件OCRmyPDF下载,免费PDF扫描内容转可搜索可复制工具
本次和大家分享一个非常热门强大的PDF文件内容OCR识别软件OCRmyPDF,这个软件可以将PDF内不可搜索的图片和文字识别转换为可复制可搜索的文本,并对PDF文件进行优化。 OCRmyPDF介绍 OCRmyPDF 为扫描的 PDF 文件添...

免费音效音乐生成软件AudioX整合包下载,快速音效配音工具
本次分享一个非常强大的音乐音效生成软件AudioX,这个软件可以通过提供文本、视频、图像、音乐和音频自动识别内容重新生成一段高质量的通用音频和音乐。 AudioX介绍 音频和音乐生成已成为众多应用中的关键任务,然而现有方法面临诸多限制:它们...

高质量高性能文本转语音系统index-tts整合包下载,高效声音克隆软件
今天再和大家分享另一个刚发布的强大的声音克隆软件index-tts,针对中文优化,效果有了极大提升,远超同类软件。稍微测试了一下,感觉要比我前天分享的spark-tts声音克隆效果更好一些,音频情感更丰富点。 index-tts声音克隆软件...

检测和删除高相似度图片软件AntiDupl免费下载
前几天整理手机图片,手机中拍了大量的图片,很多图片是连拍的,图片的相似度极高,甚至就是一模一样的图片,有时候看相册的时候会删除掉这些图片,有时候忘了删。在电脑上整理备份的时候这些高相似度的图片比较占空间,也会额外增加处理时间,所以想找个图片...

文本转语音及声音克隆软件Spark-TTS整合包下载
Spark-TTS是最近发布的一款比较热门的文字转语音及声音克隆软件,操作简单,效果强大。 Spark-TTS介绍 概述 Spark-TTS 是一款先进的文本转语音系统,它利用大型语言模型 (LLM) 的强大功能,实现高精度、自然的语音合成...

AI快速建模文本转3D模型软件Cube3D整合包,obj网格文件标记化处理工具
本次和大家分享另一个刚发布不久的文本转3D模型软件Cube3D,软件可以通过输入文本描述词AI快速生成3D网格模型文件,还支持OBJ文件标记化处理功能。 Cube3D介绍 Roblox 3D智能基础模型 Cube 3D是我们迈向3D智能的第...

免费图片视频摄像头换脸软件VisoMaster整合包下载,面部表情实时调节预览
本次再和大家分享一个上个月刚发布的换脸软件VisoMaster,软件支持图片视频换脸,也支持摄像头实时换脸,我制作了最新版一键启动整合包。 VisoMaster介绍 VisoMaster是一款功能强大且易于使用的工具,用于图像和视频中的面部...