声学模型和语言模型融合的N种方式
转载2 years ago
声学模型和语言模型融合的N种方式

语音识别算法目的是从声学特征x中找到最有可能生成的词序列y,即 完整的语音识别算法包括特征提取、声学模型、语言模型和解码,其中语言模型(Langulage Model, LM)负责计算词序列W={w1,…,wn} 的概率估计P(W)。并且语…

10 0 0
腾讯混元开源最大 MoE大模型
转载2 years ago
腾讯混元开源最大 MoE大模型

来源丨机器之心 随着人工智能技术的快速发展,大型语言模型(LLMs)在自然语言处理、计算机视觉和科学任务等领域取得了显著进展。然而,随着模型规模的扩大,如何在保持高性能的同时优化资源消耗成为关键挑战。为了应对这一挑战,腾讯混元团队率先采用混…

19 0 0
Meta发布全新后训练方式CGPO,编程水平直升5%
转载2 years ago
Meta发布全新后训练方式CGPO,编程水平直升5%

来源丨新智元 CGPO框架通过混合评审机制和约束优化器,有效解决了RLHF在多任务学习中的奖励欺骗和多目标优化问题,显著提升了语言模型在多任务环境中的表现。CGPO的设计为未来多任务学习提供了新的优化路径,有望进一步提升大型语言模型的效能和…

7 0 0