models/Qwen/06-Qwen-7B-chat 全量微调 中deepspeed使用的是什么版本呢？

[1259010439]

我在进行 DS_BUILD_OPS=1 pip install deepspeed 会有如下报错
ModuleNotFoundError: No module named 'dskernels'

[KMnO4-zx]

那就撞一下这个包呗

[1259010439]

嗯嗯 这个问题已经解决了 现在是会有这个错误 我现在想训练的模型是 Qwen2.5-Coder-7B-Instruct 是这个的原因么？
[rank1]: File "/root/miniconda3/envs/deepspeed/lib/python3.10/site-packages/transformers/models/auto/configuration_auto.py", line 761, in getitem
[rank1]: raise KeyError(key)
[rank1]: KeyError: 'qwen2'

[KMnO4-zx]

升级transformers版本就行了，这个报错是因为没有找到qwen2这个模型

[1259010439]

还想再请教一下训练后的checkpoint 可以 使用vllm的 vllm serve Qwen/Qwen2.5-Coder-7B-Instruct --dtype=half --tensor-parallel-size 4 --download-dir Qwen/v1 --enable-lora --lora-modules lora_name=checkpoint-xx 这个方式直接加入到启动的server服务中么？ 怎么能过验证一致这样的启动方式是否已经是加入了这些checkpoint呢