User Identification and Recommendation for Shared Accounts1958University of Science and Technology of China大模型推荐技术及展望冯福利 博士fengfl@ustc.edu.cn2023/819581. 推荐及LLM简介2. LLM赋能推荐系统3. 大模型推荐展望1推荐方法的本质2q 本质：拟合历史用户行为数据，预测未来用户行为阶段1：在历史数据里学阶段2：预测用户下一个喜欢的物品•User：行为多样、模式复杂，受众多外界因素影响•Item：item间众多低频关联，不断出现新item理解不到位，泛化能力差，推荐不满意大模型新范式NLP 2.0: 统计模型NLP 1.0: 字典/词汇表 + 规则早期200020122018NLP 4.0: 预训练 + 微调 + Prompt 模式进入大型语言模型（LLM）时代NLP 3.0: 深度神经网络模型q 自然语言处理（NLP）领域的发展：3用简明的语句概括一下新闻的大概内容：“新华社电…”智能涌现答案是：这篇新闻大概讲述了“阿根廷夺得世界杯冠军的历程”帮我概括一下NCF文章的主要内容好的，NCF利用神经网络对协同过滤信息建模…英文中的“Good Morning”是中文的早上好学会了！“Good Morning” 翻译成早上好帮我用英文概括一下面这个中文博客“大语言模型…”规划：先用中文概括，再翻译成英文—”This blog isabout the LLM…”泛化能力规划能力学会了！切分简化任务学会举一反三4知识模型Foundation LLM《战狼》讲述的是小人物成长为拯救国家和民族命运的孤胆英雄的传奇故事葡萄糖的化学分子式是C6H12O6爱因斯坦提出的质能方程是E=mc2勾股定理是直角三角形两个直角边的平方和等于斜边的平方人类的血液中含有红细胞、白细胞、血小板等不同种类细胞在位时间最长的皇帝——(清)爱新觉罗.玄烨5推荐系统“馋”大模型啥？• Learning：Pretrain-finetune, prompt learning, instruction-tun.6•User：行为多样、模式复杂，受众多外界因素影响•Item：在物理世界中存在千丝万缕的关联，很多关联都很低频理解不到位，泛化能力差，推荐不满意• Architecture：Transformer, self-attentionRepresentation：Textual feature, text isall you needGeneralization & Generation：Few/zero-shot, cross-domain, knowledge, personalized gen.Chat• Model：Well-trained models with extraordinary abilities推荐系统“馋”大模型啥？序列推荐：篮球à⾜球à梅西à内马尔推荐可解释：篮球à⾜球 (喜欢运动）对话推荐：今天没有篮球比赛可以看，我建议看看曼联踢利物浦的⾜球比赛！推荐鲁棒性、用户历史⾏为推荐未知任务：个性化推荐，冷启动推荐…Foundation Model序列推荐：篮球à⾜球à梅西à内马尔推荐可解释：篮球à⾜球 (喜欢运动）对话推荐：今天没有篮球比赛可以看，我建议看看曼联踢利物浦的⾜球比赛！推荐鲁棒性、用户历史⾏为推荐Model 1Model 2Model 3Model 4未知任务：个性化推荐，冷启动推荐…传统范式大模型范式特点：小作坊，各自为战特点：工业化、统一化、标准化、一统天下q Open-ended Domains and Tasks推荐系统“馋”大模型啥？• Learning：Prompt learning/instruction-tuning [1,2,3,5,6,9,12]8• Representation：Text is all you need [4,5,6,7,8,9,12]• Generalization：Few-shot, cross-domain [5,6,7,8], know. [10,11] [1] Zhang Yuhui, et al. "Language Models as Recommender Systems: Evaluations and Limitations“ NeurIPS Workshop 2021.[2] Zhang Zihuo and Wang Bang. "Prompt Learning for News Recommendation“ SIGIR 2023.[3] Geng Shijie et al. "Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)“ RecSys 2022.[4] Li Jiacheng et al. "Text Is All You Need: Learning Language Representations for Sequential Recommendation“ KDD 2023.[5] Cui Zeyu et al. "M6-Rec: Generative Pretrained Language Models are Open-Ended Rec...
