Skip to content

中文羊驼大模型二期 v2.0

Compare
Choose a tag to compare
@ymcui ymcui released this 14 Aug 06:55
· 129 commits to main since this release
db21c15

本次更新推出Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B模型,添加多种下游应用适配等。

🚀 推出Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B

  • 与7B系列模型相同,Chinese-LLaMA-2-13B使用120G中文语料进行增量预训练,Chinese-Alpaca-2-13B进一步使用了500万指令数据进行精调
  • 上述模型在多个客观指标上超过了一代Plus-13B甚至是Plus-33B的效果,查看系统效果
  • 主观效果请通过模型竞技场浏览(模型刚加入排名暂不稳定):http://llm-arena.ymcui.com/

🤖 添加多种应用适配

  • 添加了基于llama.cpp的服务启动和API访问方法(#59
  • 添加text-generation-webui支持(#65
  • 添加LangChain使用教程(#79
  • 添加privateGPT适配,利用大模型和本地文档进行交互(#103

相关使用文档请查阅📚 GitHub Wiki

💻 添加了CFG采样方法(#91

  • Classifier-Free Guidance (CFG) sampling 是一种提升模型输出与prompt内容的一致性的采样方法。
  • 在transformers推理脚本中(inference_hf.py与gradio_demo.py)添加了对CFG采样方法的支持。
  • 通过设置系统提示语(system_prompt)、反向提示语(negative prompt)以及调整CFG强度(guidance_scale),可以实现对模型输出的多样化控制。

其他更新

  • 添加了OpenAI API流式输出支持(#43
  • 添加了4比特推理支持(#47
  • Gradio Demo中添加了system prompt修改框(#60
  • 修复了预训练之后生成无法停止的问题(#61
  • 修正了默认解码超参(#69
  • 添加了基于Chinese-LLaMA-2-7B的量化结果对比(#74
  • 优化了C-Eval预测脚本日志输出(#75

For English release note, please refer to Discussion.