Facebook今天宣布为Instagram电视(IGTV)提供自动字幕，从全球16种语言的点播视频字幕开始。此次发布是针对Facebook Live和Workplace Live的自动字幕发布的，该字幕于三月份以六种语言(英语，西班牙语，葡萄牙语，意大利语，德语和法语)推出。
Facebook表示，扩展字幕建立在几年前替代文本更新的基础上，以支持弱视人群。“随着越来越多的人使用字幕，人工智能将学习，我们希望质量会继续提高。这只是一小步，我们将寻求扩展到更多的语言，语言和前进的国家，”一位发言人通过电子邮件告诉媒体。
在一篇博客文章中，Facebook解释说它利用一种技术来训练机器学习模型，该模型支持自动语音识别以直接预测单词的字素(或字符)，从而简化了模型的训练和部署过程。工程师使用Facebook上的公开帖子来启动系统，从而对模型进行了培训，以适应新词(例如“ COVID”)并预测它们在视频中的位置。
Facebook还表示，它能够通过许多基础架构优化来部署这些模型，从而使其能够为与大流行相关的负载而产生的额外视频流量提供服务。根据Facebook的数据，与去年同期相比，2020年6月，Pages的Facebook Live广播数量翻了一番。
Facebook于2016年2月推出了首个针对视频广告的自动字幕产品。同年10月，该社交网络为所有美国英语Facebook页面推出了免费的视频字幕工具。尽管这些工具多年来毫无疑问地得到了改进，但轶事证据表明它们还有很长的路要走，例如去年的Antares火箭发射等视频都显示了带有自动字幕功能的废话。正如福布斯(Forbes)在最近的一篇文章中指出的那样，字幕错误会严重影响听力障碍者的视频观看体验。
Facebook显然意识到其系统的缺点，表示正在研究改善字幕的方法。在上个月发布的技术论文中，该公司的数据科学家描述了wav2vec 2.0，这是一种语音识别框架，他们声称仅用10分钟的标签数据即可获得最新的结果。7月，Facebook研究人员详细介绍了一个模型，该模型经过训练超过16,000小时的录音后，学会了用51种语言理解单词。在上个月的一项研究中，Facebook使用一种新颖的方法设法将单词错误率(一种常见的语音识别性能指标)降低了20%以上。
