摘要:腾讯自研混元大模型正式亮相,通过腾讯云对外开放,下面是粉丝网小编收集整理的内容,希望对大家有帮助!
国产大模型进入长跑期,从参数至上转向实用优先。
9月7日,在2023腾讯全球数字生态大会上,腾讯混元大模型正式亮相,并宣布通过腾讯云对外开放。
腾讯混元大模型是由腾讯全链路自研的通用大语言模型,拥有超千亿参数规模,预训练语料超2万亿tokens,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。
值得关注的
是 ,腾讯混元大模型是 “从实践中来,到实践中去”的 实用级大模型。腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等 超过 50个腾讯业务和 产品,已经接入腾讯混元大模型测试,并取得初步效果。据了【粉丝网】
解,混元大模型将作为腾讯云MaaS服务的 底座,客户不仅可以直接通过 API调用混元,也 可以将混元作为基底模型,为不同产业场景构建专属应用。腾讯集团高级执行副总裁、云与
智慧产业事业群CEO汤道生表示:“以大模型生成技术为核心,人工智能正在 成为下一轮数字化发展的 关键动力,也 为解决产业痛点带来了 全新的 思路。 大模型需要基于 产业场景,与 企业数据融合,才能释放出最大的 价值。”久久为功,全链路技术自研
据腾讯集团副总裁蒋杰介绍,腾讯混元大模型从第一个token开始从零训练,掌握了
从模型算法到机器学习框架,再到AI基础设施的 全链路自研技术。从2021年开始,腾讯先后推出千亿和
万亿参数的 NLP稀疏大模型,打破CLUE三大榜单记录,实现在 中文理解能力上的 新突破。目前,业界大模型在
场景中的 应用依然 有 限,主要集中在容错率高、任务简单的 休闲场景。腾讯在 算法层面进行了 一系列自研创新,提高了 模型可靠性和 成熟度。针对大模型容易“胡言乱语”的
问题,腾讯优化了 预训练算法及策略,让混元大模型的 幻觉相比主流开源大模型降低了 30%至50%;通过 强化学习的 方法,让模型学会识别陷阱问题;通过 位置编码优化,提高了 超长文的处理效果和 性能;提出思维链的 新策略,让大模型能够像人一样结合实际的应用场景进行推理和 决策。此外,腾讯还自研了
机器学习框架Angel,使训练速度相比业界主流框架提升1 倍,推理速度比业界主流框架提升1.3倍。得益于
全链路自研技术,腾讯混元大模型能够理解上下文的 含义,并且 有长文记忆能力,可以流畅地 进行专业领域的 多轮对话。除此之外,它还能进行文学创作、文本摘要、角色扮演等 内容创作,做到充分理解用户意图,并高效、准确的 给出有 时效性的 答复。在
中国信通院《大规模预训练模型技术和 应用的 评估方法》的标准符合性测试中,混元大模型共测评66个能力项,在 “模型开发”和“模型能力”两个重要领域的 综合评价均获得了 当前的 最 高分。在 主流的 评测集MMLU、CEval和 AGI-eval上,混元大模型均有 优异的 表现,特别是 在 中文的 理科、高考题和 数学等 子项上表现突出。上海财经大学校长刘元春认为:“借助于
全链路自研,中国将不断积累大模型相关人才和 技术,逐渐形成体系化的 产业链、人才链、技术链和创新链,最 终走出一条发展通用人工智能的 中国路径,助力我 们在 数字技术的 创新上取得突破性进展。”腾讯全面拥抱大模型
蒋杰表示:“我
们研发大模型的 目标不是 在 评测上获得高分,而是 将技术应用到实际场景中。腾讯将全面拥抱大模型。”在
此次大会上,蒋杰展示了 腾讯会议、腾讯文档、腾讯广告等 多个业务,在 接入腾讯混元大模型后的实际应用情况。比如腾讯会议基于
混元大模型打造了 AI小助手,只需要简单的 自然 语言指令,就能完成会议信息提取、内容分析等 复杂任务,会后还能生成智能总结纪要。 据实测,在 指令理解、会中问答、会议摘要、会议待办项等 多个方面,混元大模型均获得较高的 用户采纳率。在
文档处理方面,腾讯混元大模型支持数十种文本创作场景,在 腾讯文档推出的 智能助手功能中已有 应用。同时,混元还能够一键生成标准格式文本,精通数百种Excel公式,支持自然 语言生成函数,并基于 表格内容生成图表,目前这些功能正在 内测阶段,将在 成熟后面向 用户开放。在
广告业务场景,腾讯混元大模型支持智能化的 广告素材创作,能够适应行业与 地 域特色,满足千人千面的 需求,实现文字、图片、视频的 自然 融合。此外,基于混元大模型的 能力,广告智能导购能够帮助商家在 企业微信等 场景,提升服务质量和 服务效率。据了
解,今年6月,腾讯云推出了 模型即服务(MaaS)解决方案,提供涵盖模型预训练、模型精调、智能应用开发等一站式的 行业大模型服务。最
近,腾讯云也全面接入Llama 2、Bloom等 20多个主流模型,和 混元一样,都支持直接部署调用。客户可以根据实际需求,基于 混元、也 可以基于 开源模型,打造自己专属的 行业大模型。