AI软件下载
有趣网站推荐及实用软件下载

本地文档聊天对话软件localGPT整合包下载,大语音模型文档内容分析总结

localGPT是一个基于文档内容进行聊天对话的应用,它可以根据你提供的文档,利用Meta最新开源的大语言模型对文档内容进行分析总结,然后你可以围绕这些文档提出内容,localGPT会根据文档内容回答你的问题,本应用为免费开源应用,原项目地址:https://github.com/PromtEngineer/localGPT

localGPT特点

  • 最高程度的隐私:您的数据保留在您的计算机上,确保 100% 的安全。
  • 多种模型支持:无缝集成多种开源模型,包括HF、GPTQ、GGML和GGUF。
  • 多样化的嵌入:从一系列开源嵌入中进行选择。
  • 重复使用您的 LLM:下载后,可重复使用您的 LLM,无需重复下载。
  • 聊天记录:记住您之前的对话(在会话中)。
  • API:LocalGPT 有一个 API,您可以使用它来构建 RAG 应用程序。
  • 图形界面:LocalGPT 带有两个 GUI,一个使用 API,另一个是独立的(基于 streamlit)。
  • GPU、CPU 和 MPS 支持:开箱即用,支持多种平台,使用等CUDA与您的数据聊天!CPUMPS

localGPT用法

我制作了最新版的一键启动整合包,下载链接见文章末尾。首先到网盘里将软件完整压缩包localGPT.7z下载到电脑上并解压,然后将你需要分析对话的文档复制到SOURCE_DOCUMENTS文件夹内,可以是一个文档也可以是多个,支持多种格式类型的文档,如:html,txt,md,py,pdf,csv,xls,xlsx,docx,doc,然后再双击运行【0分析文档内容.exe】,

等到窗口输出importing:xxx文档名,Press any key to continue…等信息的时候就说明文档已经分析完成了,在DB文件夹内可以看到生成的文档相关的文件,然后再运行【1启动对话.exe】

等到看到窗口输出Enter a query:的时候你就可以输入文字开始对话了,你可以询问任何关于文档内容的问题,可以输入英文也可以输入中文等,支持多种语言,可以进行连续对话。

由于使用GPU计算,对电脑显卡有要求,我默认使用的是Llama-3.2-1B-Instruct模型,Meta开源最新3.2版10亿参数的模型,如果你电脑显卡显存在8G以上的话,可以使用Meta-Llama-3-8B-Instruct模型,80亿参数模型更大,效果也更好,使用Meta-Llama-3-8B-Instruct模型的方法为:

在网盘里将这个模型压缩包下载到huggingface文件夹内并解压,然后打开constants.py文件,将第112行的代码MODEL_ID = os.path.join(MODELS_PATH, “Llama-3.2-1B-Instruct”)最前面添加一个“#”号将这行代码注释掉,然后将第111行的代码#MODEL_ID = os.path.join(MODELS_PATH, “Meta-Llama-3-8B-Instruct”)最前面的这个“#”删除掉,保存并关闭这个文件,然后重新运行分析文档和启动对话即可。

如果你的电脑配置更高,想要使用更大的模型的话,你可以到https://modelscope.cn/organization/LLM-Research?tab=model下载你想要的模型,放到huggingface文件夹内,并按上述操作步骤修改constants.py文件内的模型ID名字

本整合包只支持Windows电脑版,不支持其它系统使用,有感兴趣的可以自行下载体验

基于文档内容的聊天对话软件localGPT整合包下载

此内容仅限VIP查看,请先
可通过每日签到获得积分兑换VIP
领即梦AI免费积分,开启AI创作之旅:速领>>

软件催更及1对1人工答疑支持: https://nuowa.net/1806
赞(0) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

凡人修仙传动画韩立高清图片壁纸素材AI绘画图集-诺瓦小站

凡人修仙传动画韩立高清图片壁纸素材AI绘画图集

恭迎韩天尊! 祝贺韩天尊顺利结婴! 热门国漫凡人修仙传动画已经更新了5年了,最新一集,主人公韩立顺利结婴,成为一名元婴修士。我属于是比较喜欢看动漫的,看过的动漫估计没过百也得大几十了,热门国漫大多都看过。凡人修仙传算是最喜欢的动漫之一,韩立...

凡人修仙传动画慕沛灵高清壁纸图片,单人AI图片素材-诺瓦小站

凡人修仙传动画慕沛灵高清壁纸图片,单人AI图片素材

最近需要用到凡人修仙传动画里人物图片,直接在视频里截图的话要么身体姿势不对要么就身体不完整等,截不到想要的图,然后就炼了一批AI图,这次分享的这些都是慕沛灵的单人图片,全身照,都是高清的,由于只需要竖屏,所以我没生成横屏图片。喜欢的可以拿去...

免费在线视频去水印工具方法-诺瓦小站

免费在线视频去水印工具方法

本次分享一个免费的在线视频去水印工具–记灵 这个在线工具目前是完全免费的,上传mp4视频文件,然后鼠标框选去水印区域,然后点击处理等待处理完成就可以了,操作非常简单。 这个去水印工具是采用打码的方式覆盖原水印区域的,并不是AI智...

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫