以及用于创建 Gemini 模型的技术。 Gemma 模型在各个方面都表现出强大的性能等人， 2015），以及分布式系统大规模培训技术（Barham 等人， 2022；规模。通过这项工作，我们发布了预训练的2017）、 BERT （Devlin 等人， 2018）和 T5 （Raffel2021 年； Hendrycks 等人， 2020）和编码（奥斯汀我们的模型在一系列定量和定性基准上的缺点。我们相信广泛的领域，包括自动化还建立在 Google 悠久的开放模型和生态系统历史之上，包括 Word2Vec (Mikolov对于提高前沿模型的安全性至关重要，确保公平地获得这一突破每种尺寸都旨在解决不同的计算约束、应用程序和开发人员等， 2021；陈等人， 2021）。请参阅评估部分的完整详细信息。序列模型（Sutskever et al., 2014）和在 18 个基于文本的任务中，有 11 个的性能优于类似大小的开放模型，并且我们提出了全面的语言理解、推理和安全的学术基准。我们推出了两种尺寸的型号这项工作介绍了 Gemma，这是一个根据研究构建的轻量级、最先进的开放模型系列基准和人工评估。示例领域包括问答（Clark 等人，Gemma 有两种尺寸：用于在 GPU 和 TPU 上高效部署和开发的 70 亿参数模型，以及用于 CPU 和设备上应用程序的 20 亿参数模型。预训练和微调检查点的发布将有助于深入研究和调查当前指令调整机制的影响，以及开发等人， 2013），变压器（Vaswani 等人，要求。在每个尺度上，我们都会发布原始的、预先训练的检查点，以及针对对话、遵循指令、帮助和安全性进行微调的检查点。我们彻底评估2022），数学和科学（Cobbe 等人，和 Gemini 一样，Gemma 也以最近的工作为基础等， 2023； Touvron等人， 2023a,b)我们使用类似的架构、数据、最多 6T 的文本标记来训练 Gemma 模型我们推出 Gemma，一个开放模型系列我们认为负责任地释放法学硕士是开放模型（Almazrouei 等人， 2023； Jiang相对于可比规模（和一些更大的），变压器（Vaswani et al., 2017），基于神经网络的深度学习方法（LeCunGemma 提升最先进的性能1完整的作者列表请参阅贡献和致谢部分。请将信件发送至 gemma‑1‑report@google.com。日益安全和负责任的模型开发和微调的检查点，以及用于推理和服务的开源代码库。等人， 2019）和 T5X （罗伯茨等人， 2022）。2023）。方法论。与 Gemini 一样，这些模型在文本领域实现了强大的通才能力，同时还具备最先进的理解和推理能力。介绍技术，以实现严格的评估和模型，并实现下一波法学硕士创新浪潮。Gemma 团队，谷歌 DeepMind1以及双子座模范家庭的培训食谱。推理（Sakaguchi 等人， 2019； Suzgun 等人，Gemma：基于Gemini的开放模型研究与技术发展。我们相信，负责任地释放法学硕士对于提高边境安全至关重要基于Google的Gemini模型（Gemini Team，对模型的安全和责任方面的评估以及模型的详细描述2024‑02‑21© 2024 谷歌 DeepMind。版权所有2019； Kwiatkowski 等人， 2019），常识迪恩等人， 2012；罗伯茨等人， 2023）。芽（20 亿和 70 亿个参数），并提供预训练和微调的检查点。芽分析当前技术，并实现Machine Translated by Google下一波创新的发展。用过的。考虑到这一点，所有 Gemma 用户都应该如表 1 所示。模型在上下文中进行训练按能力进行评估并计算各自的平均分；详细分类见表6人类偏好评估。然后我们讨论前馈隐藏暗淡 32768 49152表 1 |关键模型参数。模型7BKV 头数 1620482B524,550,144 1,981,884,416参数表现。8d_模型2B头数 16嵌入杰玛模特。列出所包含的改进：和结论。头号256非嵌入参数词汇大小 256128 256128责任部署。参数8192 个令牌的长度。层数 18 281256786,825,216 7,751,248,8967B3072以及标准学术基准和图1 |与类似大小的开放模型相比， Gemma 7B 在不同功能上的语言理解和生成性能。我们将标准学术基准归为一类在这份技术报告中，我们提供了详细的有关我们的安全方法的信息，请参阅部分详细介绍我们安全、负责任的部署方法。最后，我们概述了Gemma 的更广泛含义、其局限性和优点，我...
