1面向生产服务的大模型评估体系探讨邓超中国移动研究院 2024年1月一、中国移动大模型布局及进展二、中国移动大模型评估体系2三、九天客服大模型应用评估实践视觉大模型语音大模型结构化数据大模型多模态/跨模态大模型紧 迫 性技 术语言大模型++客 服政 务社会综治医 疗企业通话交通运输能 源3中国移动自主构建语言、视觉、语音等多种类型大模型，具备跨行业供给侧增强、高可控性、异构软硬件灵活部署几大显著的技术特色，整体性能指标实现国内主流水平，能更好满足企业全场景全部署的大模型落地需求语言大模型视觉大模型语音大模型结构化数据大模型多模态大模型9B2B6B→13B100B+→200B+多 种 类 型 基 础 大 模 型特色三在71%的中文测试集主流指标上，超过业界同等参数规模模型特色一特色二3B/7B/ 13.9B /57B/100B+4以九天基础模型为基础，联合通信、能源、航空等行业的骨干企业，共建共享九天·众擎基座大模型，加速国民经济主体行业的智能化转型升级，促进我国战略性新兴产业发展，带动我国整体生产力提升6提 供 基 础基 础 大模 型强信息集成能力强理解能力强生成能力符 合 生 产 指 标行 业 大 模 型复杂系统AI及强系统集成能力持续学习行业规范与知识高动态自适应符合生产指标强任务主导性高准确率高可靠性专 业 数 据客服政务医疗交通时空家庭物联网社会综治视觉网络运维网络运维文体行业通话金融风险储能司法构建网络AI大模型，实现从“网络+AI”向“AI+网络”转变，降低AI赋能网络的边际成本，指数级扩大赋能成效为网络智慧内生提供AI核心基座，助力网络与AI全面、深度融合数据异构性多模态融合复杂系统智能化挑战演进理念网络大模型（JT-Net）多模态、异构数据统一聚合极速业务交付极优网络品质极佳资源效率极省运维成本极简一线作业网 管 智 能 体网元智能体网元智能体网元智能体网元智能体95%NLP40%100%60%复杂跨模态能力图像语音结构化大模型对现有模型替代体系化AI：分层多智能体协作•2023年中国移动合作伙伴大会上发布网络大模型1.0，优先服务四大场景，驱动向“AI+网络”全面演进•基于网络大模型的网络运维AI助手正式上线中国移动MOA网络运维中心2个应用场景，端到端准确率达88%以上自然语言图像语音结构化政务信息场九天·海算政务大模型是中国移动基于近年来积累的丰富数字政府建设经验所打造的面向政务领域的行业大模型。九天 · 海算政务大模型面向政务领域特殊性，融合了三大特色：深度行业智能、政务信息场、多元式交互事项政策流程数据…事项办理数据分析舆情洞察一网通办 一网统管一网协同智能流转公文写作政策咨询政务大模型政务信息场汇聚散落的关联数据政务流程不出“场”，安全可信深度行业智能多元交互模式政务多交互方式融合TOD+大模型+GUI，智能便捷政务政策-政务事项-政务数据存储深度贯穿模型驱动整体业务流程，灵活易用九天·海算政务大模型2023年世界人工智能大会上，发布了九天·海算政务大模型，已落地应用于黑龙江省数字政府项目政务智能客服、智能搜索、数字人、公文辅助写作等应用场景中的落地验证面向企业级智能客服场景，基于10086服务近十亿客户的海量客服数据、业务知识和服务经验，打造九天·客服大模型，让每个用户都拥有24小时在线的“专属管家”，极大提升客服工作效率和用户体验面向客服面向客户面向运营面向客户服务全场景的行业大模型知识库业务数据服务日志API+数 据基 础 大 模 型100B+57B13.9B业务咨询业务办理情感关怀业务投诉... ...客户画像智能点选话术生成智能摘要... ...知识采编智能质检热点话题挖掘投诉分析... ...2023年中国移动合作伙伴大会上，发布了首个基于客服行业大模型的智能客服产品，实现大模型客服领域应用破冰已在北京、广东等试点省份生产上线中国移动10086客服焕新升级中国移动app打造全新交互体验构建以平台和大模型为核心的智能基座，成为通用人工智能时代泛在智能的供给者、汇聚者和运营者，全面实现AI+转型升级运营者汇聚者供给者基于体系化人工智能的算、网、智一体化服务运营 大模型算力九天通用大模型九天行业大模型模型自...
