本公司具备证券投资咨询业务资格，请务必阅读最后一页免责声明 证券研究报告 1 量化专题报告 从增量学习到元学习：深度学习训练新框架 2024 年 02 月 02 日 ➢ 增量学习对传统的批量学习提升效果不大。增量学习是指在现有模型的基础上，通过加入新的数据来更新模型的过程。与传统的批量学习不同，增量学习可以更好地适应数据的变化，同时也更加高效，因为只需要处理新增的数据而无需重新训练整个模型。在股票趋势预测的增量学习中，我们通过一系列增量任务来逐步更新模型参数。在每个任务中，我们使用增量数据来微调模型参数，并在测试数据上进行预测并评估模型性能。用这样的方法在 LSTM 深度神经网络上进行训练，IC 从 3.6%提升到了 4.2%，提升效果不大。 ➢ 元学习旨在学习一个机器学习模型的设定，使得这一模型在所有的训练任务中表现最好。一个典型的元学习模型 MAML（Model-Agnostic Meta-Learning），即“模型无关的元学习”是 17 年发表在机器学习顶级会议 ICML上的一种通用优化算法，适用于任何基于梯度学习的模型。MAML 旨在为基模型提供初始化参数，以便面对新任务时能快速学习。用 MAML 对机器学习模型进行适应，应用至增量学习训练框架中，可以显著提升预测因子 IC，LSTM 模型因子的 RankIC 从 4.2%提升至 6%，效果明显。 ➢ 双步适应训练框架对数据与模型都进行元学习，来适应新的在线任务场景。传统的增量学习存在的问题是，在线场景中，新数据会不断到来，而增量数据与历史数据可能具有不同的联合分布，包括条件分布和协变量分布的变化。若数据分布变化较快，则增量学习无法适应。用数据适应器对数据分布进行适应可以解决这一问题。数据适应器也是一种元学习器，包含 2 个对于训练数据进行线性变化的函数，用来学习怎样调整训练数据的分布才能更好的适应分布变化，以获得更好的预测准确率。将数据适应器和模型适应器即 MAML 一起使用，形成双步适应训练框架 DA，可进一步提升预测效果。 ➢ 双步适应训练框架对传统深度学习模型都有提升。实证表明，双步适应训练框架 DA 对于市场中流行的深度神经网络 LSTM 和 GRU 都有明显提升。若只用模型适应器 MAML，可以显著提升预测因子 IC，但多头端收益提升不明显。在加入数据适应器后可以显著提升因子多头端组合表现，其中 LSTM_DA 因子多头组合在中证 500 内年化收益 14%，年化超额收益 17.6%，信息比率 2.37，表现优秀。 ➢ 风险提示：量化模型基于历史数据，市场未来可能发生变化，策略模型有失效可能。 [Table_Author] 分析师 叶尔乐 执业证书： S0100522110002 邮箱： yeerle@mszq.com 相关研究 1.量化分析报告：一月社融预测：59852 亿元-2024/02/01 2.量化周报：流动性支持下有望震荡上涨-2024/01/28 3.量化专题报告：基金交易三维刻画：胜率、赔率和频率-2024/01/25 4.基金分析报告：基金季报 2023Q4：公募行业重仓易位-2024/01/23 5.量化周报：风险有所释放，机会仍需等待-2024/01/21 量化专题报告 本公司具备证券投资咨询业务资格，请务必阅读最后一页免责声明 证券研究报告 2 目录 1 从批量学习到增量学习 ............................................................................................................................................. 3 1.1 传统的批量学习法 .............................................................................................................................................................................. 3 1.2 增量学习法 ........................................................................................................................................................................................... 4 2 元增量学习—双步适应训练框架 ............................................................................................................................... 7 2.1 增量学习存在问题 .................
