今天在测试阿里通义千问Qwen-1_8B-Chat-Int8的模型的时候发生报错,部分错误信息如下:
Traceback (most recent call last):
File “.\request_llms\local_llm_class.py”, line 160, in run
for response_full in self.llm_stream_generator(*kwargs): File “.\request_llms\bridge_qwen_local.py”, line 46, in llm_stream_generator for response in self._model.chat_stream(self._tokenizer, query, history=history): File “.\huggingface\modules\transformers_modules\Qwen\Qwen-1_8B-Chat-Int8\2fb5c225fe592d8d891cbf6c1ed5924cabe48a18\modeling_qwen.py”, line 1214, in stream_generator for token in self.generate_stream( File “.\python3\lib\site-packages\torch\utils_contextlib.py”, line 116, in decorate_context return func(args, **kwargs)
File “.\python3\lib\site-packages\transformers_stream_generator\main.py”, line 208, in generate
] = self._prepare_attention_mask_for_generation(
File “.\python3\lib\site-packages\transformers\generation\utils.py”, line 473, in _prepare_attention_mask_for_generation
torch.isin(elements=inputs, test_elements=pad_token_id).any()
TypeError: isin() received an invalid combination of arguments – got (elements=Tensor, test_elements=int, ), but expected one of:
- (Tensor elements, Tensor test_elements, *, bool assume_unique = False, bool invert = False, Tensor out = None)
- (Number element, Tensor test_elements, *, bool assume_unique = False, bool invert = False, Tensor out = None)
- (Tensor elements, Number test_element, *, bool assume_unique = False, bool invert = False, Tensor out = None)
意思就是在 torch.isin() 函数中传入的参数类型不匹配导致的。torch.isin 期望的是两个张量(Tensor)参数或者一个数字和一个张量的组合,而传入的是一个张量(elements)和一个整数(test_elements)。
需要修改torch部分功能代码解决,还有另一种方法就是重新安装transformers,将版本降到4.41.0以下,可解决此报错问题
相关推荐
Python报错AssertionError: Torch not compiled with CUDA enabled解决方法
windows电脑安装DeepSpeed报错提示无法打开输入文件“aio.lib”等
TypeError: argument of type 'bool' is not iterable ERROR: Exception in ASGI application
AttributeError: module 'gradio' has no attribute 'inputs'解决方法
AttributeError: module 'gradio' has no attribute 'make_waveform'解决方法
windows电脑安装pytorch下载缓慢安装失败解决方法
ModuleNotFoundError: No module named 'cv2'
detectron2 windows电脑简易快速安装教程
最近更新

虚拟试衣产品设计多图合成软件UNO一键启动整合包,人物转动漫工具
UNO是字节跳动开发的一款多主体图像生成软件,解决了角色或物体一致性的问题,可用于漫画、虚拟试衣等场景。我基于当前最新版本制作了免安装一键启动整合包。 UNO介绍 UNO是一款基于扩散模型的AI图像生成工具,核心目标是解决AI生成图像时难以...

临时邮箱,一次性匿名gmail.com邮箱
有时候网站需要测试一些功能,比如注册登录等,需要用到邮箱,但是自己的邮箱有限,不能更多的测试效果,这时候就需要一些不同后缀的一次性邮箱,网上有很多这样的一次性匿名邮箱,后缀很多,非常适合测试使用,下面分享几个比较好用的临时邮箱。 Gmail...

免费AI视频生成软件FramePack整合包下载,本地离线AI图片转视频工具
前段时间阿里开源了一个AI视频生成工具WAN2.1,可以实现文本转视频和图片转视频,虽说很强大,但是测试之后感觉软件对电脑配置要求太高了,感觉应该大部分用户都用不了,而且只支持720P视频,清晰度有些低,所以没和大家分享。前些天又出了一个更...

PDF OCR图片文字内容识别软件OCRmyPDF下载,免费PDF扫描内容转可搜索可复制工具
本次和大家分享一个非常热门强大的PDF文件内容OCR识别软件OCRmyPDF,这个软件可以将PDF内不可搜索的图片和文字识别转换为可复制可搜索的文本,并对PDF文件进行优化。 OCRmyPDF介绍 OCRmyPDF 为扫描的 PDF 文件添...

免费音效音乐生成软件AudioX整合包下载,快速音效配音工具
本次分享一个非常强大的音乐音效生成软件AudioX,这个软件可以通过提供文本、视频、图像、音乐和音频自动识别内容重新生成一段高质量的通用音频和音乐。 AudioX介绍 音频和音乐生成已成为众多应用中的关键任务,然而现有方法面临诸多限制:它们...

高质量高性能文本转语音系统index-tts整合包下载,高效声音克隆软件
今天再和大家分享另一个刚发布的强大的声音克隆软件index-tts,针对中文优化,效果有了极大提升,远超同类软件。稍微测试了一下,感觉要比我前天分享的spark-tts声音克隆效果更好一些,音频情感更丰富点。 index-tts声音克隆软件...

检测和删除高相似度图片软件AntiDupl免费下载
前几天整理手机图片,手机中拍了大量的图片,很多图片是连拍的,图片的相似度极高,甚至就是一模一样的图片,有时候看相册的时候会删除掉这些图片,有时候忘了删。在电脑上整理备份的时候这些高相似度的图片比较占空间,也会额外增加处理时间,所以想找个图片...

文本转语音及声音克隆软件Spark-TTS整合包下载
Spark-TTS是最近发布的一款比较热门的文字转语音及声音克隆软件,操作简单,效果强大。 Spark-TTS介绍 概述 Spark-TTS 是一款先进的文本转语音系统,它利用大型语言模型 (LLM) 的强大功能,实现高精度、自然的语音合成...

AI快速建模文本转3D模型软件Cube3D整合包,obj网格文件标记化处理工具
本次和大家分享另一个刚发布不久的文本转3D模型软件Cube3D,软件可以通过输入文本描述词AI快速生成3D网格模型文件,还支持OBJ文件标记化处理功能。 Cube3D介绍 Roblox 3D智能基础模型 Cube 3D是我们迈向3D智能的第...

免费图片视频摄像头换脸软件VisoMaster整合包下载,面部表情实时调节预览
本次再和大家分享一个上个月刚发布的换脸软件VisoMaster,软件支持图片视频换脸,也支持摄像头实时换脸,我制作了最新版一键启动整合包。 VisoMaster介绍 VisoMaster是一款功能强大且易于使用的工具,用于图像和视频中的面部...