Qwen2.5-0.5B/1.5B/3B/7B大模型布置

wrzeng · 发表于 2025-12-31 14:49:04

本帖最后由 wrzeng 于 2026-7-9 11:02 编辑

Qwen2.5-7B大模型布置

wrzeng · 发表于 2025-12-31 15:47:46

本帖最后由 wrzeng 于 2026-1-14 14:37 编辑

1：下载大模型：百度网盘 https://pan.baidu.com/s/1L0qPmfvBS3W0F-uyNRg1Fg 提取码: 5764
2：解压llm_sdk.rar
3: 连接串口或者ADB线（ADB 和串口思路基本一样，以下是ADB的方式）
4: adb devices
出现以下这种类似打印，说明连接成功
   List of devices attached
0123456789ABCDEF       device
5: adb root
6:  adb push T:\1\llm_sdk /data/local/tmp/    （T:\1\llm_sdk这个路径请跟据实际llm_sdk路径来修改，push要点时间，请耐心等待）

7:  export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/local/tmp/llm_sdk
8:  cd /data/local/tmp/llm_sdk/
9:  chmod 775 main*

10：验证布置是否成功：./main config_qwen2.5_7b_instruct.yaml --preformatter QwenNoInput -m 512 --one-prompt-per-line  -s "who is Musk"  验证（最后-s ""是提问内容，如who is musk)。

1499133924 · 发表于 2026-7-1 18:39:19

在下载了百度网盘链接基础上使用APK的修改方法。
1、安装APK
2、在原来的基础替换掉llm_sdk的四个文件：main libllmJni.so libcommon.so libtokenizer.so
执行之前的步骤
3、adb root
4、adb push T:\1\llm_sdk /data/local/tmp/    （T:\1\llm_sdk这个路径请跟据实际llm_sdk路径来修改，push要点时间，请耐心等待）
5、adb shell

6、export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/local/tmp/llm_sdk

7、 cd /data/local/tmp/llm_sdk/

8、chmod 775 main

9、打开ADB，不要关闭这个窗口
adb shell
su

cd /data/local/tmp/llm_sdk

export LD_LIBRARY_PATH=/system/lib64:/vendor/lib64:/vendor/lib64/mt8189:/system_ext/lib64:/data/local/tmp/llm_sdk

./main config_qwen2.5_7b_instruct.yaml &
（上面两行这个是demo版本敲指令的，重启之后需要重新敲，编译的话可以将这几行指令放在rc文件上，让它重启的时候执行）
10、过几秒页面会出现Model initialized successfully

11、打开APK,过一会提示AI记载成功的字样，就可以发送问题了，第一次问题回复的比较慢，后面的会较快一些。

1499133924 · 发表于 2026-7-2 10:15:43

这个使用步骤和原来基本一致。
更新说明：
  更新说明（v1.0 → v2.0）
========================================

【通信方式升级】
  v1.0（旧方案）：system property + 文件读写
- APK通过 getprop/setprop 与守护进程通信
- 推理结果通过读写 /data/misc/llm/llm_stream_current.txt 文件传输
- 守护进程每100ms轮询属性，APK每250ms轮询文件

  v2.0（新方案）：Unix Domain Socket 直连
- APK与守护进程通过本地socket直接通信
- 一发一收，天然同步，无需轮询
- 无文件读写，无并发冲突

【优化点】

  1. 稳定性大幅提升
   - 去掉8种状态的复杂状态机，不再出现状态不同步
   - 去掉文件并发读写，不再有文件锁冲突
   - socket断开即取消，响应更及时

  2. CPU占用降低
   - 旧方案：守护进程100ms轮询 + APK 250ms轮询 = CPU空转
   - 新方案：全部阻塞等待，CPU占用为0

  3. 流式输出更流畅
   - 每个token生成后立即通过socket推送给APK
   - 无需等待文件写入和轮询读取的延迟

wrzeng · 发表于 2026-7-2 17:08:25

本帖最后由 wrzeng 于 2026-7-7 17:57 编辑

qwen2.5 0.5b 布置

通过网盘分享的文件：qwen2.5_0.5b.rar
链接: https://pan.baidu.com/s/11yhvG78xm_JuWK8YebSyBA 提取码: rv31
解压缩后
adb root
adb push .\dla /data/local/tmp
adb push .\llm_sdk /data/local/tmp
adb shell
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/local/tmp/llm_sdk
cd /data/local/tmp/llm_sdk/
chmod 775 main*
验证布置是否成功：./main ../dla/config_qwen2.5_0.5b_instruct.yaml --preformatter QwenNoInput -m 512 --one-prompt-per-line -s "马斯克是谁" 验证（最后-s ""是提问内容，如北京大学前身)。

wrzeng · 发表于 2026-7-9 11:06:49

qwen2.5 1.5b 布置
通过网盘分享的文件：qwen2.5_1.5b.rar
链接: https://pan.baidu.com/s/1XjtSGrKDVqJNITVFUCVOPw 提取码: yyru
解压缩后
adb root
adb push .\dla /data/local/tmp
adb push .\llm_sdk /data/local/tmp
adb shell
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/local/tmp/llm_sdk
cd /data/local/tmp/llm_sdk/
chmod 775 main*
验证布置是否成功：./main ../dla/config_qwen2.5_1.5b_instruct.yaml --preformatter QwenNoInput -m 512 --one-prompt-per-line -s "马斯克是谁" 验证（最后-s ""是提问内容，如北京大学前身)。

wrzeng · 发表于 2026-7-9 11:10:38

qwen2.5 3b 布置
通过网盘分享的文件：qwen2.5_3b.rar
链接: https://pan.baidu.com/s/17V7f5pDo-sbhexQ_96ib4A 提取码: 7j32

解压缩后
adb root
adb push .\dla /data/local/tmp
adb push .\llm_sdk /data/local/tmp
adb shell
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/local/tmp/llm_sdk
cd /data/local/tmp/llm_sdk/
chmod 775 main*
验证布置是否成功：./main ../dla/config_qwen2.5_3b_instruct.yaml --preformatter QwenNoInput -m 512 --one-prompt-per-line -s "马斯克是谁" 验证（最后-s ""是提问内容，如北京大学前身)。

wrzeng · 发表于 2026-7-9 11:11:59

性能： qwen2.5 3B

[Latency]
   Prompt Mode: 171.827 tok/s
  Generative Mode: 8.40847 tok/s
Hot swapping to 128t model...
Done model hot swapping. (Time taken: 6.70496s)

[Average Performance among the given 1 prompts]
   Prompt Mode: 171.827 tok/s
  Generative Mode: 8.40847 tok/s

wrzeng · 发表于 2026-7-9 11:15:44

性能qw2.5 0.5B
[Latency]
   Prompt Mode: 721.369 tok/s
  Generative Mode: 45.0576 tok/s
Hot swapping to 128t model...
Done model hot swapping. (Time taken: 0.162306s)

[Average Performance among the given 1 prompts]
   Prompt Mode: 721.369 tok/s
  Generative Mode: 45.0576 tok/s

wrzeng · 发表于 2026-7-9 11:19:22

性能：qwen2.5 1.5B
[Latency]
   Prompt Mode: 341.638 tok/s
  Generative Mode: 16.656 tok/s
Hot swapping to 128t model...
Done model hot swapping. (Time taken: 0.364862s)

[Average Performance among the given 1 prompts]
   Prompt Mode: 341.638 tok/s
  Generative Mode: 16.656 tok/s

账号		自动登录	找回密码
密码			立注即册

Qwen2.5-0.5B/1.5B/3B/7B大模型布置

本帖子中包含更多资源

本帖子中包含更多资源