您的位置:www.58365365.com > 电子商务 > 更加人性化马逊Alexa的关键是无监督学习

更加人性化马逊Alexa的关键是无监督学习

2019-09-25 20:25

  亚马逊的智能助手Alexa拥有超过1亿台设备,可与来自7,400个品牌的60,000多种设备一起使用,其成千上万的员工通过参与后端系统的贡献而获得了新技能。但是,由于机器学习算法(支持Alexa决策的统计模型)的改进方式,它们所能完成的工作受到限制。

  这就是为什么亚马逊的Alexa AI研究部门的科学家追求半监督和无监督技术的原因,在这种技术中,AI系统学会了进行预测而又不吸收大量注释数据。半监督学习和无监督学习也有其局限性,但是两者都承诺通过注入类似于人的推理能力来增强Alexa的能力。

  “ [我们追求的是自我学习,这是我们的重点。”亚马逊应用科学总监兼Alexa Machine Learning的Ruhi Sarikaya在接受采访时告诉VentureBeat。“ [我们正在将其扩展到多个领域。”

  解决机器学习问题的过程通常从带注释的数据开始,这些数据的目标答案已经为人所知。数据(是较大数据集或语料库的一部分)具有通过要素工程识别并用手标记的要素。此范式中的模型学习数学关系,以便他们能够预期出不熟悉的问题的答案,此时,可以根据基本事实检查其预测的准确性。

  数据标签已经引起了由Hive和Alegion等初创公司以及Scale AI主导的家庭手工业,该公司最近筹集了1亿美元,并吸引了包括OpenAI,丰田研究院,Uber,NuTonomy和Google母公司Alphabet的Waymo在内的客户。亚马逊与第三方公司签约,每天为Alexa设备注释数千小时的音频,以保证质量和进行研发。

  但是,贴标签对于亚马逊的Alexa研究团队来说仍然是一项耗时的工作,后者经常处理包含数百万口头请求和答复的数据集。此外,在难以获得样本的领域中,这是不切实际的-Cleo和Alexa Answers强调了这一事实,这是两个Amazon服务,用于对旨在扩展Alexa知识基础的问题进行众包。

  Sarikaya说:“像Alexa这样的系统(通常是对话系统)的复杂性正在增加,因为我们周围世界的复杂性正在增加。”“我们拥有更多的设备,更好的互联网连接以及更好的传感器,这些传感器正在收集来自环境的信号并充当一种数字神经系统[]这种复杂性正在为客户和[以及我们目前使用的方法]带来摩擦。涉及地面事实数据和标签将无用。”

  尽管诸如“温度是多少?”之类的问题看起来似乎直截了当,但却无可救药地困扰着Alexa的眼睛。这是因为“温度”可能是指所连接的恒温器的设置或智能烤箱,房间或室外空气的温度。

  通常,在给定变量(例如一天中的时间,房间中的设备以及发问者的习惯)的情况下,训练AI系统以正确解释“温度”将需要隔离重要的功能并仔细注释每个功能。但是,在无监督的方法中,模型可以学习根据上下文线索得出结论。

  考虑一下,Alexa命令中的句子可以嵌入到高维空间中,在其中可以根据其中的单词与其他单词同时出现的频率将它们分组在一起。无监督算法能够从带标签的句子中推断出有效地标记同一聚类中未带标签的句子,从而扩大了其他模型可用的训练示例数量。

  缺乏完全无监督的学习,有半监督的学习,最常见的一种方式是自我训练。在那儿,经过少量标签数据训练的AI系统将标签应用于大量未标签数据。机器学习模型的输出具有关联的置信度得分,在半监督自训练中,系统的输出根据置信度得分进行排序。落在预定范围内的那些用于进一步训练系统。

  尽管以有限的方式,这些技术已经投入生产。如果来自美国,加拿大,澳大利亚,英国和印度的Alexa客户向助手询问诸如“ Alexa,打开沙发灯”之类的信息,但他们尝试打开的灯实际上称为“客厅灯”, Alexa可能会建议“您是说客厅灯吗?”

  “背景非常重要。当您从厨房移到客厅并坐下看电影时,您的对话不会停止,”亚马逊设备和服务高级副总裁戴夫利姆(Dave Limp)在今年早些时候在拉斯维加斯举行的亚马逊re:MARS会议上对一群记者说。“我们已经开始推出这种背景感-[功能]找出您在房屋中的位置。如果您走进装有Echo [智能扬声器]或智能家居设备的房间,则不必说“打开厨房的灯”或“打开客厅的灯”,因为它们已经随着时间的流逝彼此联系在一起。现在,您只需说“打开灯”,然后适当的灯就会亮,

  改进Alexa预期能力的工作与AlexaHunches的发展紧密结合,后者根据连接的设备和传感器的数据主动建议操作。例如,如果您说“ Alexa,晚安”,助手可能会回答:“顺便说一句,您的客厅灯亮了。您要我关闭它吗?”

  亚马逊智能家居副总裁丹尼尔劳斯(Daniel Rausch)告诉VentureBeat,从智能灯开始但正在扩展到其他设备的Hunches很适合进行自学。他说:“例如,如果查看我房屋的数据,您会发现有一种非常可预测的模式。”“晚上睡觉时,我的大多数设备都处于我更喜欢​​将其插入的状态,但是您还会看到一些异常现象-也许我打开了地下室的灯,或者忘记了锁门。我们教Alexa自己建立了这些推论,然后交给我。”

  除了智能家居领域之外,无人监督和半监督方法还可以帮助Alexa选择技能,其中包括来自Alexa Skills Store的325,000个开发人员的90,000多种语音应用程序。当客户提供需要第三方服务或集成的请求时,Alexa会使用类似于产品推荐引擎的推荐系统,自动从数千种技能中进行选择。去年下半年,该公司的科学家推出了一个模型,该模型考虑了预期技能(即用户提出要求时调用的链接技能),从而使技能建议的准确性提高了12%。

  “关键是使用适用于问题类型的技术,无论是检查行为模式还是尝试与基本事实建立语义相似性,然后调整考虑到这些单独信号的元模型,从而产生用户体验史密斯说:“这很有用,而不是做出假设。”“背景是我们正在努力建立一个Alexa以更自然的方式理解您的世界,而不是训练人们用Alexa的语言进行交谈。如果我们对您所说的话有一个很好的了解,我们将只执行预期的任务,但是我们正在朝着一个模型发展,那就是一个模型,其中Alexa从客户那里获得真实的事实。”

  在无监督学习的另一示例中,Alexa模型的学习方式发生了变化,亚马逊研究人员描述了一种利用2.5亿无注释客户交互的技术,可将语音识别错误减少8%。两种半监督的学习技术产生了更大的收益:使用在7,000小时的带标签数据和100万小时的无注释数据上训练的声学模型,亚马逊科学家设法将错误率降低了10%至22%。同时,一个单独的团队通过800个小时的带注释数据和7200个小时的“软”未标记数据(包含人为产生的噪声)将错误减少了20%。

  “机器学习算法本身并没有依靠人类注释者来告诉我们,这些指数级增长的排列的基础是什么,而机器学习算法本身却告诉我们什么是基础的,没有底层的感知,也没有底层的意图和实体, ” Sarikaya说。

  他提出了一个真实的例子:最初,当Alexa客户说“ Alexa,播放ABC”时,指的是在莫扎特的“Ah,Vous Dirai-Je,Maman的十二种变奏曲”中设置的英语歌曲,Alexa并没有不知道该怎么解释。从拼音歌曲(教每个字母相关的不同声音)到杂技歌曲(其中包含按字母顺序排列的歌词),“字母歌曲”的范围广泛,更不用说补偿不同发音的区域变化。

  一部分用字母歌曲让Alexa难过的客户选择了不要再试,而其他客户则以Alexa理解的方式重新提出了问题(例如,“ Alexa,播放字母歌曲”)。几个月来,成功和失败的交流记录到了机器学习算法中,使得Alexa最终被问到“ Alexa,播放ABC”时学会了播放英文字母歌曲。

  “客户希望像与人类一样自然地与Alexa进行交互,但是要在多轮对话中保持环境是非常困难的,在这种对话中,演讲者放弃某些实体并添加新实体。对于机器而言,这非常困难。” Sarikaya说。“通过自我学习,您可以将客户带入其中。[随着经验的改善],它将导致更多的参与,而更多的参与将导致更多的数据,这些数据将馈送到机器学习系统。”

  印度的OkCredit筹集了6700万美元 用于帮助小商家将其簿记数字化

本文链接:更加人性化马逊Alexa的关键是无监督学习