中文羊驼大模型二期 v2.0
本次更新推出Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B模型,添加多种下游应用适配等。
🚀 推出Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B
- 与7B系列模型相同,Chinese-LLaMA-2-13B使用120G中文语料进行增量预训练,Chinese-Alpaca-2-13B进一步使用了500万指令数据进行精调
- 上述模型在多个客观指标上超过了一代Plus-13B甚至是Plus-33B的效果,查看系统效果
- 主观效果请通过模型竞技场浏览(模型刚加入排名暂不稳定):http://llm-arena.ymcui.com/
🤖 添加多种应用适配
- 添加了基于llama.cpp的服务启动和API访问方法(#59)
- 添加text-generation-webui支持(#65)
- 添加LangChain使用教程(#79)
- 添加privateGPT适配,利用大模型和本地文档进行交互(#103)
相关使用文档请查阅📚 GitHub Wiki
💻 添加了CFG采样方法(#91)
- Classifier-Free Guidance (CFG) sampling 是一种提升模型输出与prompt内容的一致性的采样方法。
- 在transformers推理脚本中(inference_hf.py与gradio_demo.py)添加了对CFG采样方法的支持。
- 通过设置系统提示语(
system_prompt
)、反向提示语(negative prompt
)以及调整CFG强度(guidance_scale
),可以实现对模型输出的多样化控制。
其他更新
- 添加了OpenAI API流式输出支持(#43)
- 添加了4比特推理支持(#47)
- Gradio Demo中添加了system prompt修改框(#60)
- 修复了预训练之后生成无法停止的问题(#61)
- 修正了默认解码超参(#69)
- 添加了基于Chinese-LLaMA-2-7B的量化结果对比(#74)
- 优化了C-Eval预测脚本日志输出(#75)
For English release note, please refer to Discussion.