RedOne是什么
RedOne 是小红书推出的首个面向社交网络服务（SNS）领域的定制化大语言模型（LLM）。模型通过三阶段训练策略，注入社交文化知识，强化多任务能力，并对齐平台规范与人类偏好。相较于基础模型，RedOne 在八大社交任务上平均性能提升14.02%，在双语评测基准上提升7.56%。模型在有害内容检测中将曝光率降低11.23%，在浏览后搜索中将点击页面率提升14.95%。RedOne 在社交领域展现出卓越的效果，为 SNS 应用提供强大的支持。
RedOne的主要功能
- 内容理解：能对用户生成的内容进行分类、主题识别和意图理解。
- 信息提取：从非正式的社交帖子中提取结构化信息，如预测标签、回答问题和检测重点词汇。
- 语义匹配：判断用户查询与社交笔记之间的语义关系，提供相关性评估。
- 用户行为建模：模拟用户行为，如基于浏览历史生成后续查询。
- 对话与角色模拟：支持情感陪伴对话和群聊中的角色扮演。
- 翻译：在多语言环境中进行笔记翻译，保留原始语气和情感。
- 有害内容检测：降低有害内容的曝光率，提升平台安全性。
- 浏览后搜索优化：提升用户点击页面率，增强内容发现能力。
RedOne的技术原理
- 继续预训练（Continue Pretraining, CPT）：RedOne 的继续预训练阶段为模型注入社交领域的基础知识。研究人员从通用高质量语料库和社交网络平台收集大规模数据，涵盖非正式讨论、短评论、讽刺语句等多种社交沟通模式。用精心设计的数据筛选流程，去除低质量数据并优化数据混合分布，在 Qwen2.5 的基础上继续训练模型。
- 监督微调（Supervised Fine-Tuning, SFT）：在监督微调阶段，基于精心设计的任务定义和数据构建，弥合预训练目标与实际 SNS 应用需求之间的差距。研究人员整理了大量真实用户生成的内容，定义六种核心能力，包括内容理解、信息提取、语义匹配等，并将每种能力映射到具体任务。基于双步训练策略，第一步使大规模通用数据和 SNS 数据混合训练，第二步提高 SNS 数据比例，进一步优化模型在关键任务上的表现。
- 偏好优化（Preference Optimization, PO）：偏好优化阶段通过利用隐性偏好信号，让模型输出更符合人类偏好和平台规范。研究人员根据不同任务类型（主观任务和客观任务）用不同的偏好对构建策略，邀请专家标注偏好并扩展数据集。基于直接偏好优化（DPO）算法，用偏好数据集中的信号，优化模型的输出，让其更贴近人类偏好。
- 数据混合与通用能力保留：在训练过程中混合通用领域数据和 SNS 领域数据，保持模型的通用能力，同时提升在 SNS 领域的适应性，增强模型在特定领域的表现，提升在未见过的任务（Out-of-Domain, OOD）上的泛化能力。
RedOne的项目地址
- arXiv技术论文：https://www.arxiv.org/pdf/2507.10605
RedOne的应用场景
- 有害内容检测：有效识别和过滤有害内容，如仇恨言论、虚假信息、色情暴力等。通过降低有害内容的曝光率，显著提升平台的安全性和用户体验。
- 浏览后搜索优化：根据用户的浏览历史和行为，生成更精准的搜索建议和推荐内容，能提升用户的内容发现能力，增强用户与平台的互动。
- 内容理解与分类：对用户生成的内容进行自动分类和理解，帮助平台更好地管理和推荐内容。
- 信息提取：从非正式的社交帖子中提取关键信息，如标签、重点词汇、关键事实等。对于内容推荐、信息聚合和知识图谱构建非常有帮助。
- 语义匹配：评估用户查询与社交笔记之间的语义相关性，提供更精准的搜索结果和推荐内容。
