3b和7b模型加载都要超过一分钟以上，请完善。

[ccbsdu]

3b和7b模型加载都要超过一分钟以上，请完善。我的安卓手机配置是最新的。另外，建议增加加载本地guff模型功能。目前的功能还是太简单，建议增加mermaid代码渲染功能，直接显示效果图。

[jxt1234]

关于加载：

1. OpenCL 加载会快一些
2. CPU 可以把 use_mmap 设成 true ，第一次加载后会产生 cache ，第二次加载后就快了。
   关于模型格式：
3. 不会支持加载 GGUF 这类第三方推理用模型格式的加载，MNN 模型本身是完备的深度学习模型，基于开源模型，用 MNN 的工具转换成 MNN 模型推理即可。
4. 目前暂无增加 GGUF 转换到 MNN 工具的计划。

[ccbsdu]

谢谢！ 获取Outlook for Android<https://aka.ms/AAb9ysg>

…

________________________________ From: jxt1234 ***@***.***> Sent: Tuesday, January 28, 2025 6:07:20 PM To: alibaba/MNN ***@***.***> Cc: ccbsdu ***@***.***>; Author ***@***.***> Subject: Re: [alibaba/MNN] 3b和7b模型加载都要超过一分钟以上，请完善。 (Issue #3181) 关于加载： 1. OpenCL 加载会快一些 2. CPU 可以把 use_mmap 设成 true ，第一次加载后会产生 cache ，第二次加载后就快了。 关于模型格式： 3. 不会支持加载 GGUF 这类第三方推理用模型格式的加载，MNN 模型本身是完备的深度学习模型，基于开源模型，用 MNN 的工具转换成 MNN 模型推理即可。 4. 目前暂无增加 GGUF 转换到 MNN 工具的计划。 ― Reply to this email directly, view it on GitHub<#3181 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/BAMHZRBHI3MHJNJNSJX6DUD2M5JFRAVCNFSM6AAAAABV56M2W2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDMMJYGU2DMMZUGY>. You are receiving this because you authored the thread.Message ID: ***@***.***>

[jianking123]

关于加载：

1. OpenCL 加载会快一些
2. CPU 可以把 use_mmap 设成 true ，第一次加载后会产生 cache ，第二次加载后就快了。
   关于模型格式：
3. 不会支持加载 GGUF 这类第三方推理用模型格式的加载，MNN 模型本身是完备的深度学习模型，基于开源模型，用 MNN 的工具转换成 MNN 模型推理即可。
4. 目前暂无增加 GGUF 转换到 MNN 工具的计划。

请问在哪里设置use_mmap =true

[jxt1234]

修改 config.json :
https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html#id12