GitHub 热门项目：远程聊天

摘要

GitHub项目：Telechat 仓库地址：https://github。com/Tele-AI/Telechat Stars：1856 | 作者：Tele-AI 项目描述：暂无描述 ================================================== README 内容：星辰语义大模型-TeleChat。Hugging Face •。ModelScope •。

TeleChat 开源版本模型我们使用

2026-05-26 1 阅读 GitHub Trending

GitHub 项目：远程聊天仓库地址：https://github.com/Tele-AI/Telechat 星级：1856 | 作者：远程人工智能项目描述：暂无描述 =================================================== 自述文件内容：

星辰语义大模型-TeleChat

? 拥抱脸 • ? ModelScope • ? MindSpore • ? gitee️ • ? 微信• ? 建模者

技术报告

# 目录 - [模型介绍](#模型介绍) - [数据开源](#数据开源) - [效果足球](#效果足球) - [模型推理和部署](#模型推理和部署) - [模型模型](#模型模型) - [模型仿真](#模型仿真) - [国产化改装](#国产化改装) - [声明、协议、引用](#声明协议引用) #最新动态 - 2024年7月24日 TeleChat-12B 支持[vllm](./service/vllm_inf) - 2024.6.28 开源1B版本聊天模型 - 2024.5.16 开源优化的12B版本聊天模型**TeleChat-12B-V2** - 2024年3月20日开源12B版本聊天模型及量化版本 - 2024.1.11 开源1T中文数据集 - 2024.1.10 开源7B版本chat模型及其自动化版本 #模型介绍 ### 星辰语义大模型-TeleChat - 星辰大模型TeleChat是由中电信人工智能科技有限公司研发的大语言模型训练，其中7B模型基座采用1.5万亿代币中英文大规模语料进行训练，12B模型基座采用3万亿代币中中文大规模语料进行训练。 - 我们开源了对话模型**TeleChat-1B**、**TeleChat-7B**与**TeleChat-12B**，以及其`huggingface`格式的权重文件。此外，我们还开源了7B、12B模型的int8和int4量化版本。 - **TeleChat-12B**在模型结构、训练数据、训练方法等方面进行了改进，在通用问答和知识类、代码类、数学类列表上较**TeleChat-7B**从而大幅提升。 - 在模型结构方面，我们使用小规模的模型尝试多种模型结构的组合，选择最优化结构。相比**TeleChat-7B**模型，**TeleChat-12B**模型采用了词嵌入层与输出层解耦合的结构，将嵌入词层和输出lm头层参数分开，有利于增强训练稳定性和收敛性。 - 在训练数据方面，我们收集了覆盖书籍、百科、新闻、政务、法律、医药、专利、论文、数学等方面的大量中英文数据；通过优化数据清洗策略大幅提升数据的文本整洁度、观点无偏性、内容缺失、格式规范性。 - 在训练方法方面，我们采用科学数据配比学习与课程学习的方法，使用小参数模型在多个数据配比的数据上，得到对各个数据集的先验估计；训练过程中每隔一段时间自动化评估当前模型在所有数据集上的损失，以及在分数集上的生成效果，动态提升较难学习的数据集权重，保证模型在各个数据集上都有较佳的宏观效果。 - **TeleChat-12B-V2**版本采用动态数据配比和课程学习的方法，针对基础模型进行了持续训练增强。其对话模型在通用能力体育上提升5.5%，其中数学能力提升24.6%、翻译能力提升9%、幻觉测试提升10.3%，安全拒识、知识问答、闲聊问答等方面也有不同程度的提升。 - **TeleChat-1B**版本基于2万亿代币中英文高质量语言进行训练，其对话模型能够在同尺寸模型中位列前茅。 ### 模型结构我们采用标准的“仅解码器”结构设计了 **TeleChat** 模型，并在模型维度上做了以下一些改进： - **位置编码**：我们使用[Rotary Embedding](https://arxiv.org/pdf/2104.09864.pdf)的位置编码方法，该方法将相对位置信息依赖集成到self-attention中，并且具有较好的位置外推性。Rotary Embedding还可以很好地与Flash-Attention v2配合使用，将模型的训练速度提升20%。 - **激活函数**：我们使用 [SwiGLU](https://arxiv.org/pdf/2002.05202.pdf) 激活函数来替代 GELU激活函数，为了减少计算量，将`ffn_hidden_size`设置为小于原始SwiGLU中的隐藏层大小的4倍。 - **层标准化**：基于 [RMSNorm](https://arxiv.org/abs/1910.07467) 的 Pre-Normalization。 - **词嵌入层与输出层解耦**：我们将**TeleChat-12B**的词嵌入层和输出层头层参数分开，有助于增强训练稳定性和恢复性。 | |层数 |隐藏大小 | ffn_隐藏_大小 |头号 |领带词嵌入 | |-----| --------- | ----------- | ---------------- | -------- | ----------------------- | | 1B | 16 | 16 2048 | 2048 5460 | 5460 32 | 32 否 | | 7B| 30| 4096 | 12288 | 32 | 32 是

← 返回开源推荐