Qwen2.5-0.5B/1.5B/3B/7B Qwen3VL-2B大模型布置

wrzeng

性能： qwen2.5 7B
[Latency]                                                                                                               
      Prompt Mode: 66.8809 tok/s                                                                                       
  Generative Mode: 4.53113 tok/s                                                                                       
Hot swapping to 128t model...                                                                                          
Done model hot swapping. (Time taken: 17.5641s)                                                                        
                                                                                                                        
[Average Performance among the given 1 prompts]                                                                        
      Prompt Mode: 66.8809 tok/s                                                                                       
  Generative Mode: 4.53113 tok/s  

wrzeng

qwen3-VL-2B 布置
通过网盘分享的文件：qwen3vl-2b_1t1024.rar
链接: https://pan.baidu.com/s/1am2IwiNYCr5z8pYrh4UOIg 提取码: 4qxr
详见压缩包里配置文档
adb root
adb push .\llm_sdk /data/local/tmp
adb shell
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/local/tmp/llm_sdk  
cd /data/local/tmp/llm_sdk/
chmod 775 main*
setprop debug.llm.loglevel 1
验证布置是否成功：
./main_llava ./qwen3_vl_1.yaml --preformatter Qwen3VLNoInput -i ./sample_prompt.txt -im ./demo.jpeg -m 300

性能测试：
[Latency]                                                                                                                                          
      Prompt Mode: 244.642 tok/s                                                                                                                    
  Generative Mode: 8.91332 tok/s                                                                                                                    
                                                                                                                                                   
[Average Performance among the given 1 prompts]                                                                                                     
      Prompt Mode: 244.642 tok/s                                                                                                                    
  Generative Mode: 8.91332 tok/s                                                                                                                    
INFO: PowerHAL Free