GitHub 热门项目: llama3-Chinese-chat

GitHub 项目：llama3-Chinese-chat 仓库地址：https://github.com/CrazyBoyM/llama3-Chinese-chat 星级：4143 | 作者：CrazyBoyM 项目描述：Llama3-中文后训练版 =================================================== 自述文件内容： # llama3-中文聊天 [](https://openbayes.com/console/hyperai-tutorials/containers/EzsoQaZB8LA)   ### Chinese-llama3 第一版 第一个llama3 中文版 本仓库供交流llama3中文相关学习内容，欢迎热心朋友加入共建 ### 训练和推理流程
看图快速学习：https://deepwiki.com/CrazyBoyM/llama3-Chinese-chat ### 通知 🔥新增LLM-中国仓库，欢迎关注训练性质，以「模型中文化」为典型的模型问题切入场景，指导读者上手学习LLM二次变量训练：https://github.com/CrazyBoyM/LLM-Chinese （含gemma2中文版模型，2b、9b尺寸） 如果您有自己的版本或者在网上找到有趣的特化版本，欢迎在问题区评论中收录。 如果您有想要的建设内容版块，欢迎fork提交PR成为核心作者成员。 (修改注意：目前不再接受仅单个字、句式的错别字PR，请避免关闭作业该类PR) ### 新闻更新记录 - 2024-07-25 llama3.1中文DPO版训练权重放出。 - 2024-07-24 llama3.1中文版训练计划启动。 - 2024-05-17 🎉整理的llama3中文化数据集合在modelscope下载量达到2.9k次，连续三周在modelscope网站首页：[数据下载地址](https://modelscope.cn/datasets/baicai003/Llama3-Chinese-dataset/summary) - 2024-05-17 💪 增加手写API部署教程、命令调用，[文档地址](https://github.com/CrazyBoyM/llama3-Chinese-chat/tree/main/deploy/API) - 2024-05-13 💪 增加LMStudio电脑本地部署教程，[文档教程](https://github.com/CrazyBoyM/llama3-Chinese-chat/blob/main/deploy/LMStudio/README.md)，[手段落视频教程](https://www.bilibili.com/video/BV1nt421g79T) - 2024-05-04 五一假期间：🚀新增语言偏好强化消防版本（直接对中文指导版做DPO）。保留原汁原味的口吻回复(喜欢趣味语言、表情表情)，[模型下载](https://modelscope.cn/models/baicai003/Llama3-Chinese-instruct-DPO-beta0.5/summary)，[gguf量化版下载] (https://modelscope.cn/models/shareAI/llama-3-8b-Instruct-dpo-chinese-loftq-gguf/summary)，[语言偏好强化数据集已工作开源](https://huggingface.co/datasets/shareAI/DPO-zh-en-emoji) - 2024-04-21晚上2点：增加训练教程、推理教程、网页部署等文档整理 - 2023-04-20晚上23点：指导完成中文版训练 - 2024-04-20 训练早上7点：v2版完成 - 2024-04-19 下午1点：🍺世界上首llama3中文版训练完成，晚上没睡觉哈哈，使用170k+高质量多轮中文对话数据连夜训练得到。 ### Demo 演示示例 #### llama3-base-8b 中文SFT版 #### llama3-instruct-8b 中文DPO版 #### llama3.1-instruct-8b 中文DPO版 ### llama3 可用聊天版模型整理 骆驼3.1 - 分享AI-DPO中文8B版本（RLHF中文） - 培训开源数据： https://huggingface.co/datasets/shareAI/DPO-zh-en-emoji - 训练细节分享：DPO(beta 0.5) + lorarank128, alpha256 + 打开“lm_head”, “input_layernorm”, “post_attention_layernorm”, “norm”层训练。 - 算力：8 * A100，5分钟，感谢opencsg社区的友情赞助支持。 - 模型下载 - OpenCSG： https://opencsg.com/models/shareAI/llama3.1-8b-instruct-dpo-zh - 模型下载 - modelscope： https://modelscope.cn/models/shareAI/llama3.1