Qwen2.5-0.5B/1.5B/3B/7B大模型布置

wrzeng

性能： qwen2.5 7B
[Latency]                                                                                                               
      Prompt Mode: 66.8809 tok/s                                                                                       
  Generative Mode: 4.53113 tok/s                                                                                       
Hot swapping to 128t model...                                                                                          
Done model hot swapping. (Time taken: 17.5641s)                                                                        
                                                                                                                        
[Average Performance among the given 1 prompts]                                                                        
      Prompt Mode: 66.8809 tok/s                                                                                       
  Generative Mode: 4.53113 tok/s