今天在测试阿里通义千问Qwen-1_8B-Chat-Int8的模型的时候发生报错,部分错误信息如下:
Traceback (most recent call last):
File “.\request_llms\local_llm_class.py”, line 160, in run
for response_full in self.llm_stream_generator(*kwargs): File “.\request_llms\bridge_qwen_local.py”, line 46, in llm_stream_generator for response in self._model.chat_stream(self._tokenizer, query, history=history): File “.\huggingface\modules\transformers_modules\Qwen\Qwen-1_8B-Chat-Int8\2fb5c225fe592d8d891cbf6c1ed5924cabe48a18\modeling_qwen.py”, line 1214, in stream_generator for token in self.generate_stream( File “.\python3\lib\site-packages\torch\utils_contextlib.py”, line 116, in decorate_context return func(args, **kwargs)
File “.\python3\lib\site-packages\transformers_stream_generator\main.py”, line 208, in generate
] = self._prepare_attention_mask_for_generation(
File “.\python3\lib\site-packages\transformers\generation\utils.py”, line 473, in _prepare_attention_mask_for_generation
torch.isin(elements=inputs, test_elements=pad_token_id).any()
TypeError: isin() received an invalid combination of arguments – got (elements=Tensor, test_elements=int, ), but expected one of:
- (Tensor elements, Tensor test_elements, *, bool assume_unique = False, bool invert = False, Tensor out = None)
- (Number element, Tensor test_elements, *, bool assume_unique = False, bool invert = False, Tensor out = None)
- (Tensor elements, Number test_element, *, bool assume_unique = False, bool invert = False, Tensor out = None)
意思就是在 torch.isin() 函数中传入的参数类型不匹配导致的。torch.isin 期望的是两个张量(Tensor)参数或者一个数字和一个张量的组合,而传入的是一个张量(elements)和一个整数(test_elements)。
需要修改torch部分功能代码解决,还有另一种方法就是重新安装transformers,将版本降到4.41.0以下,可解决此报错问题
相关推荐
Python报错AssertionError: Torch not compiled with CUDA enabled解决方法
ValueError: Model architectures ['LlamaForCausalLM'] failed to be inspected.
No module named "vllm._C
UserWarning: Specified provider 'CUDAExecutionProvider' is not in available provider names.Available providers: 'AzureExecutionProvider
下载huggingface.co网站上模型文件的几种方法,包括需要登录的验证的模型
windows电脑安装DeepSpeed报错提示无法打开输入文件“aio.lib”等
TypeError: argument of type 'bool' is not iterable ERROR: Exception in ASGI application
AttributeError: module 'gradio' has no attribute 'inputs'解决方法
最近更新

支付宝发现金红包了!支付宝的羊毛快来薅💰️💰️
支付宝小荷包搞活动啦,新用户加入立得2元无门槛现金红包。 支付宝小荷包是支付宝推出的一款便捷的零钱管理工具,适合日常小额支付和理财。 什么是支付宝小荷包? 支付宝小荷包,简单来说,就像是你在支付宝里的“私人金库”。它不仅支持快速转账、收款,...

美团官方发福利,吃喝玩乐外卖神券天天领
美团官方发福利了,加美团企业微信,每天免费领各种吃喝玩乐神券,领取福利流程如下: 1、微信扫码登录↓↓↓ 2、长按添加美团企业微信 3、天天领券 每日签到领取更多红包 更有超多促销活动,限时活动,低价爆品等,让你放肆嗨吃嗨喝!

免费PDF文档翻译软件BabelDOC整合包下载,AI一键PDF全文翻译工具
分享另一个热门的PDF文档翻译软件BabelDOC,软件可以将PDF文档由原语言翻译成指定语言文档,基于在线大语言模型处理能力,文档翻译效果更准确,并保留排版,支持批量文档翻译,我制作了最新版免安装一键启动整合包。 BabelDOC介绍 另...

AI歌曲创作软件YuE整合包下载,一键谱曲演唱音乐生成器
YuE:开放的全曲音乐生成基础模型,可免费一键生成完整歌曲,AI作曲,AI演唱,是一个高质量的AI音乐生成软件。我制作了最新的面安装一键启动整合包。 YuE介绍 YuE 是一系列突破性的开源基础模型,专为音乐生成而设计,尤其适用于将歌词转化...

可灵AI会员专属优惠邀请码,限时福利领取
可灵AI发福利了,通过专属优惠邀请码 6BZPEJK83JZ9 可额外获得50%灵感值。 现在图片、音乐、视频等等,啥都可以用AI生成,可灵AI就是快手旗下非常强大的一个AI内容创作平台,功能多样,效果强大。我最近半年几乎每周都会使用多次,...

多人对话语音合成软件CSM整合包,AI多人文字转语音工具
CSM是发布不久的一款多人对话语音生成模型,声音自然延迟低,同时支持克隆音色语音合成,我基于当前最新版本制作了免安装一键启动整合包。 Sesame CSM介绍 CSM(Conversational Speech Model) 是由...

AI自动化任务执行工具OpenManus一键启动整合包
OpenManus是另一款AI自动化任务执行软件,是Manus的开源实现,无需邀请码,本地运行,我基于当前最新版本制作了免安装一键启动整合包。 OpenManus介绍 OpenManus 是一个开源复刻版 AI 智能体框架,由 MetaGP...

CAMEL-AI开源多智能体协作框架OWL一键整合包,自动化任务助手
OWL 是由 CAMEL-AI 团队开发的开源多智能体协作框架,旨在通过动态智能体交互实现复杂任务的自动化处理,在 GAIA 基准测试中以 69.09 分位列开源框架榜首,被誉为“Manus 的开源平替”。我基于当前最新...

微软PDF/WORD/HTML文档转Markdown格式软件markitdown整合包下载
本次和大家分享另一个微软发布的非常热门的文件文档转Markdown格式文档的软件markitdown,软件可以将PDF,word,ppt,Excel等十几种格式文档转换为markdown格式文档,我基于当前最新0.1.2版本制作了免安装一键...

AI描述万物软件describe-anything整合包,精准描述图片视频中指定区域内容
本次和大家分享一个英伟达联合其他大学开发的一款应用describe-anything,该应用可以通过AI识别分析并详细描述图片视频中指定区域物体内容,我基于最新版制作了免安装一键启动整合包。 describe-anything介绍 Desc...