ChatGLM-130B 是由 AI 编程助手「CodeGeex」背后的智谱 AI 团队开发的 1300 亿参数的开源的、支持中英双语的对话语言模型。
GLM-130B 是一个开源开放的双语(中文和英文)双向稠密模型,拥有 1300 亿参数,模型架构采用通用语言模型(GLM1)。它旨在支持在一台 A100(40G * 8) 或 V100(32G * 8)服务器上对千亿规模参数的模型进行推理。截至 2022 年 7 月 3 日,GLM-130B 已完成 4000 亿个文本标识符(中文和英文各 2000 亿)的训练,它有以下独特优势:
- 双语:同时支持中文和英文。
- 高精度(英文): 在 LAMBADA 上优于 GPT-3 175B(+4.0%)、OPT-175B(+5.5%)和 BLOOM-176B(+13.0%),在 MMLU 上略优于 GPT-3 175B(+0.9%)。
- 高精度(中文):在 7 个零样本 CLUE 数据集(+24.26%)和 5 个零样本 FewCLUE 数据集(+12.75%)上明显优于 ERNIE TITAN 3.0 260B。
- 快速推理:支持用一台 A100 服务器使用 SAT 和 FasterTransformer 进行快速推理(提速最高可达 2.5 倍)。
- 可复现性:所有结果(超过 30 个任务)均可通过我们的开源代码和模型参数轻松复现。
- 跨平台:支持在 NVIDIA、Hygon DCU、Ascend 910 和 Sunway 处理器上进行训练与推理。
数据统计
数据评估
关于ChatGLM特别声明
本站蓝衫科技提供的ChatGLM都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由蓝衫科技实际控制,在8 月 10, 2023 2:32 下午收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,蓝衫科技不承担任何责任。
相关导航
暂无评论...