Neural Magic获1500万美元A轮融资，以提高现成处理器的AI推理速度

 
尽管加速器芯片如Google的张量处理单元(TPU)和英特尔即将推出的Nervana NNP-T等加速器芯片激增，但大多数机器学习从业者仍受预算或设计限制，只能用于商品处理器。不幸的是，这些处理器往往相当缓慢运行复杂的AI模式，加剧了参与AI R&d的众多挑战之一。
因此，神经魔术。麻省理工学院计算机科学与人工智能实验室的研究科学家Alex Matveev和Nir Shavit教授于2018年共同创立了这家位于马萨诸塞州萨默维尔的初创公司，其灵感来自他们在机器学习的高性能多核执行引擎中的工作。他们从本质上将Neural Magic描述为“无硬件AI公司”，这家公司的软件以等于(或优于)专用硬件的速度处理处理器上的工作负载。
显然，投资者对他们所看到的印象深刻。 Neural Magic今天宣布，该公司已筹集了1500万美元的种子投资，由Comcast Ventures牵头，NEA，Andreessen Horowitz，Pillar VC和Amdocs Ventures参与了该项目，在经过500万美元的前种子轮融资后，其总筹资额达到了2000万美元。配合筹款活动，该公司在早期使用了其专有推理引擎。
CEO Shavit表示：“ Neural Magic证明了深度学习模型的高性能执行是…一个系统工程问题，可以用正确的软件算法解决。”他说，资金的涌入将加强Neural Magic的工程，销售和营销招聘工作。
Shavit表示，此版本的Neural Magic产品面向实时推荐和计算机视觉系统，前者通常在生产中受到少量图形芯片内存的限制。通过运行通常具有更多可用内存的现成处理器来运行模型，数据科学家可以用最少的工作量来实现加速。对于计算机视觉模型，Shavit声称Neural Magic的解决方案以“图形芯片速度”执行诸如图像分类和对象检测之类的任务，从而可以通过容器化应用在较大的图像和视频流上执行。
在这方面，Neural Magic的方法的范围比DarwinAI的方法要窄一些，后者使用所谓的生成综合来摄取几乎任何AI系统(无论是计算机视觉，自然语言处理还是语音识别)，并且吐出一个高度优化版本。但是Shavit断言它与平台无关，而DarwinAI的引擎直到最近才增加了对Facebook PyTorch框架的支持。
如何获得提升?考虑一下像Nvidia的DGX-2这样的系统，该系统具有500GB的高带宽内存，平均分配给16个图形芯片。在模型训练期间，必须复制模型和参数以适合32GB的内存。结果是，足迹小于16GB的模型(如图片库ImageNet上的ResNet 152)可以使用DGX-2进行训练，而较大的模型(如ResNet 200)则不能。大于给定分辨率的图像自然会占用内存，从而无法使用4K图像训练语料库，而不是ImageNet的224×224像素样本。
处理器具有其他优势。当然，它们通常更便宜，并且比起加速器，它们更适合某些AI任务。正如Shavit解释的那样，大多数图形芯片的批处理大小(指模型更新之前处理的样本数量)为64或更大时，性能得到了优化，非常适合实时分析(例如语音数据)。流)。但是，对于团队需要等待以收集足够的图像来填充一批图像(例如医学图像扫描)的情况，这是不理想的，因为其中涉及到滞后时间。
“我们的愿景是使数据科学团队能够利用他们已经拥有的无处不在的计算平台，以GPU的速度运行深度学习模型-以一种只有商品CPU才能交付的灵活且容器化的方式进行，” Shavit说。