腾讯混元开放 Hy4 权重,支持百万 Token 上下文

火星财经快讯

11月20日 14:14
火星财经消息,腾讯混元团队开放原生多模态旗舰模型 Hy4 的模型权重。Hy4 采用混合专家(MoE)架构,总参数量为 7700 亿,每个 Token 激活 490 亿参数,上下文长度为 100 万 Token。腾讯混元团队同时发布 Hy4 系统卡,其中包含安全评估报告,并计划于太平洋时间周五上午 8 点至 10 点在 Reddit 的 r/LocalLLaMA 社区举行线上问答,回应有关 Hy 系列模型的问题。

本内容旨在传递行业动态,不构成投资建议或承诺。
看更多快讯,下载火星财经 APP