localGPT是一个基于文档内容进行聊天对话的应用，它可以根据你提供的文档，利用Meta最新开源的大语言模型对文档内容进行分析总结，然后你可以围绕这些文档提出内容，localGPT会根据文档内容回答你的问题，本应用为免费开源应用，原项目地址：https://github.com/PromtEngineer/localGPT
localGPT特点
- 最高程度的隐私：您的数据保留在您的计算机上，确保 100％ 的安全。
- 多种模型支持：无缝集成多种开源模型，包括HF、GPTQ、GGML和GGUF。
- 多样化的嵌入：从一系列开源嵌入中进行选择。
- 重复使用您的 LLM：下载后，可重复使用您的 LLM，无需重复下载。
- 聊天记录：记住您之前的对话（在会话中）。
- API：LocalGPT 有一个 API，您可以使用它来构建 RAG 应用程序。
- 图形界面：LocalGPT 带有两个 GUI，一个使用 API，另一个是独立的（基于 streamlit）。
- GPU、CPU 和 MPS 支持：开箱即用，支持多种平台，使用等
CUDA与您的数据聊天！CPUMPS
localGPT用法
我制作了最新版的一键启动整合包，下载链接见文章末尾。首先到网盘里将软件完整压缩包localGPT.7z下载到电脑上并解压，然后将你需要分析对话的文档复制到SOURCE_DOCUMENTS文件夹内，可以是一个文档也可以是多个，支持多种格式类型的文档，如：html，txt，md，py，pdf，csv，xls，xlsx，docx，doc，然后再双击运行【0分析文档内容.exe】，
等到窗口输出importing:xxx文档名,Press any key to continue…等信息的时候就说明文档已经分析完成了，在DB文件夹内可以看到生成的文档相关的文件，然后再运行【1启动对话.exe】
等到看到窗口输出Enter a query:的时候你就可以输入文字开始对话了，你可以询问任何关于文档内容的问题，可以输入英文也可以输入中文等，支持多种语言，可以进行连续对话。
由于使用GPU计算，对电脑显卡有要求，我默认使用的是Llama-3.2-1B-Instruct模型，Meta开源最新3.2版10亿参数的模型，如果你电脑显卡显存在8G以上的话，可以使用Meta-Llama-3-8B-Instruct模型，80亿参数模型更大，效果也更好，使用Meta-Llama-3-8B-Instruct模型的方法为：
在网盘里将这个模型压缩包下载到huggingface文件夹内并解压，然后打开constants.py文件，将第112行的代码MODEL_ID = os.path.join(MODELS_PATH, “Llama-3.2-1B-Instruct”)最前面添加一个“#”号将这行代码注释掉，然后将第111行的代码#MODEL_ID = os.path.join(MODELS_PATH, “Meta-Llama-3-8B-Instruct”)最前面的这个“#”删除掉，保存并关闭这个文件，然后重新运行分析文档和启动对话即可。
如果你的电脑配置更高，想要使用更大的模型的话，你可以到https://modelscope.cn/organization/LLM-Research?tab=model下载你想要的模型，放到huggingface文件夹内，并按上述操作步骤修改constants.py文件内的模型ID名字
本整合包只支持Windows电脑版，不支持其它系统使用，有感兴趣的可以自行下载体验
基于文档内容的聊天对话软件localGPT整合包下载：
https://pan.quark.cn/s/dedd1428a841
