“书生・浦语”2.0大语言模型开源200k上下文 -pa真人国际官网

it之家今日（1月17日）消息，商汤科技与上海ai实验室联合香港中文大学和复旦大学今日发布了新一代大语言模型书生・浦语2.（internlm2）。

据介绍，internlm2是在2.6万亿token的语料上训练得到的。沿袭第一代书生・浦语（internlm）设定，internlm2包含7b及2b两种参数规格及基座、对话等版本，继续开源，提供免费商用授权。

目前，浦语背后的数据清洗过滤技术已经历三轮迭代升级，号称仅使用约6%的训练数据即可达到使用第二代数据训练1ttokens的性能表现。

与第一代internlm相比，internlm2在大规模高质量的验证语料上的loss分布整体左移，表明其语言建模能力增强。

通过拓展训练窗口大小和位置编码改进，internlm2支持2万tokens的上下文，能够一次性接受并处理约3万汉字（约五六百页的文档）的输入内容。

下面表格对比了internlm2各版本与chatgpt（gpt-3.5）以及gpt-4在典型评测集上的表现。可以看到，internlm2在2b参数的中等规模上，整体表现接近chatgpt。