Google　AI实验：手动跟踪算法可以导致手语识别

这种手动跟踪算法可以导致手语识别

数百万人使用手语进行交流，但到目前为止，用于捕捉其复杂手势并将其翻译成口头语言的项目取得的成功有限。然而，Google的AI实验室实时手动跟踪的新进展可能是一些人们一直在等待的突破。
这项新技术使用了一些巧妙的快捷方式，当然还有机器学习系统的一般效率提高，可以实时生成手和其所有手指的高精度地图，只使用智能手机及其相机。
“目前最先进的方法主要依靠强大的桌面环境进行推理，我们的方法可以在手机上实现实时性能，甚至可以扩展到多手，”谷歌研究人员Valentin Bazarevsky和范章写道博客文章。 “强大的实时手感是一项极具挑战性的计算机视觉任务，因为手经常遮挡自己或彼此(例如手指/手掌闭塞和手抖动)并且缺乏高对比度模式。”
不仅如此，手部动作通常是快速，微妙或两者兼而有之 – 不一定是计算机擅长实时捕捉的那种东西。基本上这样做是非常困难的，做正确的事情很难快速完成。即使使用多摄像头，SignAll使用的深度感应装置也难以跟踪每个动作。 (但这并不能阻止他们。)
研究人员在这种情况下的目标，至少在一定程度上，是减少算法筛选所需的数据量。较少的数据意味着更快的周转时间。
handgestures一方面，他们放弃了让系统检测整个手的位置和大小的想法。相反，他们只让系统找到手掌，这不仅是手中最独特和可靠的形状部分，而且是方形的，这意味着他们不必担心系统能够处理高大的矩形图像，短的，等等。
当手掌被识别时，手指当然会从手指的一端发芽并且可以单独分析。一个单独的算法查看图像并分配21个坐标，大致协调指关节和指尖，包括它们可能有多远(它可以根据手掌的大小和角度进行猜测等等)。
要做这个手指识别部分，他们首先必须手动将这21个点添加到各种姿势和照明情况下的大约30,000个手的图像中，以便机器学习系统摄取和学习。像往常一样，人工智能依赖于艰苦的人类工作来开始。
一旦确定了手的姿势，就将该姿势与一堆已知手势进行比较，从字母和数字的手语符号到“和平”和“金属”之类的东西。
结果是手动跟踪算法既快速又准确，并且可以在普通的智能手机上运行，​​而不是在被欺骗的桌面或云端(即其他人被欺骗的桌面)上运行。这一切都在MediaPipe框架内运行，多媒体技术人员可能已经了解了这一点。
幸运的是，其他研究人员将能够利用它并运行它，或许可以改进现有的系统，这些系统需要更强大的硬件才能进行识别手势所需的手识别。然而，从这里开始真正理解手语还有很长的路要走，它使用双手，面部表情和其他线索来产生一种与众不同的丰富交流方式。
目前还没有在任何谷歌产品中使用它，因此研究人员可以免费提供他们的工作。源代码在这里供任何人采取和构建。
他们写道：“我们希望向更广泛的研究和开发社区提供这种手感知功能将导致创造性用例的出现，刺激新的应用和新的研究途径。”