今天在测试阿里通义千问Qwen-1_8B-Chat-Int8的模型的时候发生报错,部分错误信息如下:
Traceback (most recent call last):
File “.\request_llms\local_llm_class.py”, line 160, in run
for response_full in self.llm_stream_generator(*kwargs): File “.\request_llms\bridge_qwen_local.py”, line 46, in llm_stream_generator for response in self._model.chat_stream(self._tokenizer, query, history=history): File “.\huggingface\modules\transformers_modules\Qwen\Qwen-1_8B-Chat-Int8\2fb5c225fe592d8d891cbf6c1ed5924cabe48a18\modeling_qwen.py”, line 1214, in stream_generator for token in self.generate_stream( File “.\python3\lib\site-packages\torch\utils_contextlib.py”, line 116, in decorate_context return func(args, **kwargs)
File “.\python3\lib\site-packages\transformers_stream_generator\main.py”, line 208, in generate
] = self._prepare_attention_mask_for_generation(
File “.\python3\lib\site-packages\transformers\generation\utils.py”, line 473, in _prepare_attention_mask_for_generation
torch.isin(elements=inputs, test_elements=pad_token_id).any()
TypeError: isin() received an invalid combination of arguments – got (elements=Tensor, test_elements=int, ), but expected one of:
- (Tensor elements, Tensor test_elements, *, bool assume_unique = False, bool invert = False, Tensor out = None)
- (Number element, Tensor test_elements, *, bool assume_unique = False, bool invert = False, Tensor out = None)
- (Tensor elements, Number test_element, *, bool assume_unique = False, bool invert = False, Tensor out = None)
意思就是在 torch.isin() 函数中传入的参数类型不匹配导致的。torch.isin 期望的是两个张量(Tensor)参数或者一个数字和一个张量的组合,而传入的是一个张量(elements)和一个整数(test_elements)。
需要修改torch部分功能代码解决,还有另一种方法就是重新安装transformers,将版本降到4.41.0以下,可解决此报错问题
相关推荐
Python报错AssertionError: Torch not compiled with CUDA enabled解决方法
Processing failed:'DINOv3ViTModel' object has no attribute 'layer'
Python免费翻译工具库,Google,Bing,百度翻译接口用法
使用Nuitka将Python应用打包为windows的exe程序具体方法
HuggingFace模型压缩打包时符号链接引起的文件夹过大问题解决方法
AttributeError: module 'torch.library' has no attribute 'register_fake'
ImportError: cannot import name 'builder' from 'google.protobuf.internal'
Gradio应用Radio组件设置默认值后选项不能选择的问题
最近更新

FunASR语音识别转文字软件区分说话人版
FunASR是一款优秀的基础语音识别框架,配合阿里通义团队开发的其它语音识别模型,能够实现非常好语音转文字效果,尤其在中文语音识别方面,鉴于有些用户需要对语音识别内容区分说话人,我重新做了一版区分说话人的版本。软件支持多语言识别,但是还是尽...

windows系统电脑通过WSL2安装OpenClwa实现开机自动启动详细教程
windows系统原生环境下运行openclaw多少还是会遇到点问题,虽然windows原生环境支持使用,但是WSL2仍是官方最推荐的方式。下面是windows系统电脑安装WSL2及OpenClaw详细教程。 安装 WSL2 以管理员身份打...

openclaw AI助手windows电脑安装部署及微信聊天配置详细教程
openclaw是目前最火爆的开源应用,没有之一,它功能强大远超同类应用。以前AI只是你问它答,OpenClaw可以说是有了手,可以帮你做事,做很多事,如果利用的好,绝对是个利器。下面分享一下windows系统电脑本地安装部署教程,有时候可...

Apple苹果3D 高斯(3DGS)模型ply文件生成器,图片转3D模型软件下载
ml-sharp是Apple苹果团队开发的一款3D高斯(3DGS)生成器,可将图片生成3D效果的ply文件。我基于当前最新版本制作了免安装一键启动整合包。 ml-sharp官方介绍 我们提出了 SHARP,这是一种从单张图像进行照片级逼真视...

字节跳动Dolphin图片文档解析工具免安装一键启动整合包下载,PDF转JSON/Markdown软件
本次再分享一个由字节跳动团队开发的一款图片文档解析工具Dolphin,支持解析表格、公式、文本、代码块等元素,支持图片和PDF文档转为Markdown和JSON格式文件,当前为最新发布的V2版本,各项功能效果都得到较大提升。 Dolphin...

微软最新图片转3D网格模型软件TRELLIS.2 windows版整合包下载,AI一键建模工具
上个月微软发布了图片转3D网格模型软件TRELLIS的2.0版本。之前1.0版本非常受欢迎,当前2.0版本功能更强大,效果更好。我制作了最新windows版免安装一键启动整合包。 TRELLIS.2官方说明 TRELLIS.2 是一款最先进...

FunASR最新模型FunAudioLLM/Fun-ASR-Nano-2512实时语音识别转文字热词版整合包下载
Fun-ASR-Nano-2512是阿里通义实验室前天刚发布的最新最强的一款语音识别转文字模型,支持31种语言,延迟低,在某些专业领域表现出色。我基于FunAudioLLM/Fun-ASR-Nano-2512模型制作了最新实时语音识别转文字...

Crawl4AI:基于AI大语言模型的网络爬虫和数据抓取工具整合包软件下载
Crawl4AI是一款基于AI大语言模型能力的网络爬虫和数据抓取软件,可以将网页转换为简洁、符合 LLM 规范的 Markdown 格式,适用于 RAG、代理和数据管道。它速度快、可控性强。 Crawl4AI官方介绍 开源的 LLM 友好型...

browser-use浏览器任务全自动化AI助手windows电脑版一键启动整合包
本次再和大家分享一个非常牛逼的AI助手软件:browser-use,别问哪里牛逼,反正很多人都在用,社区starts高达72.8K,火遍全球的deepseek 100K,browser-use 72.8K,就问你火不火。之前我也分享过其它类...

FlashVSR低分辨率模糊视频高清放大工具整合包v1.1下载,免安装一键启动
FlashVSR-一款高性能可靠的视频超高分辨率放大工具。迈向基于扩散的实时流式视频超分辨率——一种高效的单步扩散框架,用于具有局部约束稀疏注意力和小型条件解码器的流式VSR。 FlashVSR官方介绍 扩散模型最近在视频修复方面取得了进展...




