1 排名


2 具体测试结果



3 简评

  • 本期滚动测试中：

    • 思必驰、阿里性能有明显提升；

    • 微软、腾讯、讯飞转写有小幅提升；

    • 依图、百度性能无变化。

  • 本期对 OpenAI 开源的Whisper 模型(large-v2) 进行了全面的中文ASR测试，具体结果见上面对比图。中文识别作为 whisper 模型的一个边缘功能，在现有的 SpeechIO 评测集上，准确率已经超越了百度的付费商用服务。但目前看 Whisper 的中文准确率仍大幅低于其它头部厂商。

  • 开源模型接近或超过商业服务这一趋势，在英文领域也尤其明显。近期我们在官方 repo 主页里(https://github.com/SpeechColab/Leaderboard)，已经发布了一期英文ASR测试，包括一系列知名开源项目 & 海外头部厂商。感兴趣的读者可以到主页了解比较。

  • 下次的滚动测试计划在6月末进行，会增添口音方言领域。按照过去的行业惯例，很多方言的识别需要单独优化的模型来支持。但去年以来像 OpenAI whisper, Google USM 这样的工作展示了大型神经网络跨语种，甚至跨任务的AI能力。因此我们觉得 SpeechIO 测试中有必要加入一些语言结构差异不大的方言，作为衡量通用识别能力的一个维度。

  • 今天是 SpeechIO 项目建立的三周年，资源和精力有限，难免有诸多不足的地方，望读者体量。也对一路以来为本项目提供过实质帮助的朋友们，道一声感谢。

附录1

文章链接场景领域难度(1-5)
新闻联播新闻播报时政★
鲁豫有约一日行访谈电视节目名人工作、生活★★☆
天下足球专题电视节目足球★★☆
罗振宇跨年会场演讲社会、人文、商业★★
李永乐讲堂在线教育科普★★★
直播 王者荣耀直播游戏★★★☆
直播 带货直播电商、美妆★★★★☆
老罗语录线下培训段子，做人★★★★☆
播客 故事FM播客人生故事、见闻★★☆
播客 创业内幕播客创业、产品、投资★★☆
罗翔 法考在线教育法律 法考★★☆
张雪峰 考研在线教育考研 高校报考★★★☆
谷阿莫&牛叔短视频电影剪辑★★★
琼斯爱生活&贫穷料理短视频美食、烹饪★★★☆
单田芳-白眉大侠评书江湖、武侠★★☆
德云社专场相声包袱段子★★★
吐槽大会脱口秀明星糗事★★☆
小猪佩奇&熊出没少儿动画童话故事、日常★☆
NBA现场转播体育赛事解说篮球，NBA★★★
篮球人物纪录片篮球明星，成长★★
汽车之家 汽车评测短视频汽车品牌，车型，路测★★★☆
小艾大叔 豪宅带看短视频房地产，豪宅★★★☆
Zealer & 无聊开箱短视频产品开箱★★★
付老师种植技术短视频农业种植★★★☆
石国鹏线下课线下培训古希腊哲学★★☆
张震鬼故事电台节目恐怖故事★★★
华语大学生辩论赛辩论赛兴趣，技能，成长★★★
同声传译同声传译现场时政★★★☆
港台口音港台明星访谈演艺、创作、生活★★★☆
老外口音外国嘉宾参加的综艺文化、习俗、异国文化★★★☆
东方甄选直播带货，英语教学★★★☆
郎朗钢琴课长视频音乐乐理，钢琴弹奏★★☆
老石谈芯短视频芯片★★★
电丸科技AK短视频网络，IT★★★☆
新氧医美短视频医疗美容，审美★★
交通广播广播节目路况，娱乐广播★★★☆
老俞闲聊在线会议闲聊★★★

附录 2