预训练完毕，合成完毕，在oobabooga运行模型会出现自问自答的情况。

[musellama]

提交前必须检查以下项目

• 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
• 第三方插件问题：例如llama.cpp、text-generation-webui等，同时建议到对应的项目中查找解决方案

问题类型

模型推理

基础模型

Alpaca-2-7B

操作系统

Windows

详细描述问题

1.在预训练完成后，模型在oobabooga进行推理的时候，模型会出现 自问自答的情况。是模型训练，文本导致的还是，oobabooga设置导致的。
2.在某次合并后出现正常操作。  但是在回复的时候经常会出现说一半的情况。

依赖情况（代码类问题务必提供）

已经训练合并完成  模型训练用的  llama2-alpaca 进行训练，  合并 模型 model 指向 llama2-alpaca 模型进行合并。

运行日志或截图

# 请在此处粘贴运行日志

[iMountTai]

确认个问题：推理模型是发布的chinese-alpaca-2模型还是对chinese-alpaca-2继续预训练后合并得到的模型？

[musellama]

推理模型是chinese-alpaca-2继续预训练后合并得到的模型
如果用你们的 chiese-llama2-alpaca lora 进行合并 就是正常的

推理模型是chinese-alpaca-2继续预训练后合并得到的模型
如果用你们的 chiese-llama2-alpaca lora 进行合并 就是正常的

[musellama]

还有就是我想问，预训练的格式 是按照 llama1-alpaca 里边的，文本格式一样的嘛
pt_sample_data.txt
生成餐厅菜单项。配烤芦笋和Basmati米的香烤鲑鱼片佐海鲜酱汁。
概述教授机器人分拣硬币的步骤教授机器人分拣硬币的步骤如下:

1. 设计不同大小、形状和重量的硬币数据集，用于对机器人进行训练。
2. 开发特征提取算法，检测每个硬币的属性，如大小和形状。
3. 开发分类算法，区分硬币的类型，例如一分硬币、五分硬币、十分硬币和二十五分硬币。
4. 使用监督式机器学习和硬币数据集对机器人进行训练。
5. 测试机器人的准确性，如有必要调整算法。
6. 使用最终算法编程机器人进行硬币分拣。
   创造一个类比来描述 AI 助手。一个 AI 助手就像商店里乐于助人的助理一样：总是可用、热心提供帮助，并能够提供广泛的服务。
   列出厨房中使用的五台机器。在厨房中使用的五台机器是：搅拌机、食品加工器、搅拌器、榨汁机和食品蒸汽机。
   邀请客户加入忠诚计划。我们很乐意邀请您加入我们的忠诚计划！作为重要的客户，您将能够享受独家优惠、折扣等更多福利。现在就注册，开始享受这些回馈吧！
   解释区块链和普通数据库之间的区别。区块链和普通数据库之间的区别可以概括如下：
   区块链是分布式账本，而数据库是集中式的。
   区块链是安全的，具有抵御篡改的能力，因为它受到加密保护，而数据库可能没有那么安全，并且可以被操纵。
   区块链是公共和去中心化的，而数据库通常由单个实体或组织维护。
   最后，区块链是不可变的，这意味着一旦交易被处理，就无法更改或撤消，而数据库可以更新或编辑。
   编出一个笑话的结尾。你怎么称呼一只没有牙齿的熊？小熊软糖！

这是1里边提供的txt数据。 这样格式的数据 在2里边一样的通用嘛？还是说已经换了其他格式，导致的最后不能停止

[iMountTai]

预训练后的模型不适合对话，应该使用alpaca模型。llama不能停止的问题我们稍后提交修复代码。

[musellama]

需要重新拉取仓库代码 即可是吧

[iMountTai]

是的。另外text-generaton-webui使用我们的chinese-alpaca-2模型推理的wiki已更新，如果有描述不清楚的地方可以随时向我们反馈，谢谢。

最后，如果你是要训练对话模型，要跑的是sft代码，不是预训练代码。

[musellama]

是的。另外text-generaton-webui使用我们的chinese-alpaca-2模型推理的wiki已更新，如果有描述不清楚的地方可以随时向我们反馈，谢谢。

最后，如果你是要训练对话模型，要跑的是sft代码，不是预训练代码。

好的刚才看到你们修复的bug ，在pt脚本已经添加 代码。经过测试完美解决

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[homjay]

自问自答的问题依然存在，输入 Hi之后就开始自问自答了。
加了指令稍微好一点但还是有。

[iMountTai]

有按照text-generation-webui wiki部署吗？我没有遇到这种情况。

[homjay]

有按照text-generation-webui wiki部署吗？我没有遇到这种情况。

没有，我直接用llama.cpp部署的，也许是Context的问题。

[ymcui]

llama.cpp下也没遇到过这个问题，你的运行命令是什么？

[homjay]

llama.cpp下也没遇到过这个问题，你的运行命令是什么？

抱歉最近太忙了，来不及回复。
脚本参考 https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/llamacpp_zh

dev ❯ cat run.sh
#!/bin/bash

# temporary script to chat with Chinese Alpaca-2 model
# usage: ./chat.sh alpaca2-ggml-model-path your-first-instruction

SYSTEM='You are a helpful assistant. 你是一个乐于助人的助手。'
FIRST_INSTRUCTION=$2

./main -m $1 \
--color -i -c 2048 -t 8 --temp 0.5 --top_k 40 --top_p 0.9 --repeat_penalty 1.1 \
--in-prefix-bos --in-prefix ' [INST] ' --in-suffix ' [/INST]' -p \
"[INST] <<SYS>>
$SYSTEM
<</SYS>>

$FIRST_INSTRUCTION [/INST]"

可能是没输入 \然后结果如下

[ymcui]

@homjay 麻烦你新开一个issue讨论这个llama.cpp的问题吧。另外新开的时候建议你把使用的模型，以及如何转换为llama.cpp格式的命令也贴一下。

[homjay]

好的，已新开issue
#173

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.