AI大模型市场调研报告:腾讯全面拥抱大模型
在2023腾讯全球数字生态大会上,腾讯宣布推出
混元大模型,并计划通过腾讯云对外开放。该模型是腾讯全链路自研的通用大语言模型,拥有超千亿参数规模和超过2万亿tokens的预训练语料。混元大模型具备强大的中文理解与创作能力、逻辑推理能力和任务执行能力,并解决了大模型常见的“幻觉”问题。
未来,它将作为腾讯云MaaS服务的底座,供客户直接通过API调用或将其作为基底模型开发不同产业场景的应用。据官方信息显示,腾讯已与1万1千家合作方推出了覆盖100多个产业场景的行业解决方案,去年生态伙伴收入占腾讯云整体收入的三分之一,增速为腾讯云增速的四倍。
腾讯集团副总裁蒋杰透露,混元大模型已接入腾讯50多个业务,包括腾讯云、腾讯广告、腾讯游戏、腾讯会议、腾讯文档、微信搜一搜和QQ浏览器等,并取得了良好效果。
全链路自研腾讯混元大模型在NLP领域取得突破,打破CLUE三大榜单记录。从2021年开始,腾讯相继推出千亿和万亿参数的稀疏大模型,实现了中文理解能力的大幅提升。
据蒋杰透露,腾讯混元大模型是全链路自研的,从第一个token开始就进行了训练,掌握了从模型算法到机器学习框架再到AI基础设施的技术。他指出目前业界大模型在场景中的应用仍然有限,主要集中在容错率高、任务简单的休闲场景。为了解决
大模型存在的“幻觉”问题,腾讯优化了预训练算法及策略,使混元大模型的幻觉相比主流开源大模型降低了30%至50%。此外,通过强化学习的方法,混元大模型能够识别陷阱问题并拒绝回答不恰当的用户提问;同时,位置编码优化提高了处理超长文的效果和性能。
蒋杰还介绍了腾讯研发团队提出的思维链新策略,使大模型能够像人一样结合实际应用场景进行推理和决策。他表示,自研机器学习框架Angel的训练速度比业界主流框架快一倍,推理速度则快1.3倍。因此,混元大模型能够理解上下文的含义并具备长文记忆能力,可进行专业领域的多轮对话。腾讯方面表示,混元大模型可以进行文学创作、文本摘要、角色扮演等内容创作,充分理解用户意图并高效准确地给出有时效性的答复。
发布会上,蒋杰使用中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试结果验证了混元大模型的能力。该测试共测评了66个能力项,混元大模型在“模型开发”和“模型能力”两个重要领域的综合评价均获得了最高分。此外,在主流的评测集MMLU、CEval和AGI-eval上,混元大模型也表现出色。
腾讯全面拥抱大模型腾讯混元大模型的目标是将技术应用到实际场景中,而不仅仅是在评测上获得高分。蒋杰在发布会上展示了腾讯会议、腾讯文档、腾讯广告等多个业务接入腾讯混元大模型后的实际应用情况。
在腾讯会议中,基于混元大模型开发的AI小助手能够完成会议信息提取、内容分析等复杂任务,并生成智能总结纪要。实测表明,混元大模型在指令理解、会中问答、会议摘要、会议待办项等方面都获得了较高的用户采纳率,相较于GPT3.5有明显的优势。
在文档处理方面,腾讯混元大模型支持数十种文本创作场景,能够一键生成标准格式文本,熟悉上百种Excel公式,支持自然语言生成函数,并基于表格内容生成图表。这些功能目前正在内测阶段,并将在成熟后面向用户开放。

在广告业务场景中,腾讯混元大模型支持智能化的广告素材创作,可以结合行业与地域特色,实现文字、图片、视频的自然融合。
今年6月,腾讯云推出了模型即服务(MaaS)解决方案,提供涵盖模型预训练、模型精调、智能应用开发等一站式的行业大模型服务。目前,腾讯云已经全面接入Llama 2、Bloom等20多个主流模型,并支持直接部署调用。客户可以根据实际需求,既可以基于混元大模型,也可以基于开源模型,打造自己的行业大模型。