[BUG] int4 量化模型，一直在不停胡言乱语

[iwater]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

如图

期望行为 | Expected Behavior

正常回答

复现方法 | Steps To Reproduce

No response

运行环境 | Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):

备注 | Anything else?

No response

[tc-mb]

你好，可以提供下你现在使用的量化模型的方式和环境么？这可以有利于我帮你分析问题。

[iwater]

我用了这两个模型：
https://huggingface.co/openbmb/MiniCPM-o-2_6-gguf/resolve/main/Model-7.6B-Q4_K_M.gguf
https://huggingface.co/openbmb/MiniCPM-o-2_6-gguf/resolve/main/Model-7.6B-Q4_0.gguf
使用这个库：https://github.com/mybigday/llama.rn 版本 0.3.10
设备iPad Air5 iOS 17.3

[tc-mb]

明白了，原因应该是，minicpm-omni的gguf这个还没有合并到llama.cpp官方分支中。
可以等一些时间，我们正在合并pr。

[senlyu163]

@iwater @tc-mb 请教一下，如果MiniCPM-o 2.6 4bit量化版本要运行在端侧设备上，如iPad或手机，需要多大的运行内存呢？

[iwater]

我用的ipad air5

[senlyu163]

我用的ipad air5

感谢您的回复！我看到minicpm-o 2.6 int4的文档中写需大约9GB。8GB运行内存的iPad Air 5是可以完整运行量化模型吗