Lyft发布Flyte，一个维护AI工作流程的平台

 
Lyft今天早上紧随Uber开放采购AI调试工具之后，宣布发布Flyte，Flyte被描述为用于并发，可扩展和可维护的机器学习工作流的结构化和分布式平台。该公司表示，Flyte一直在内部为AI模型培训和数据处理提供服务超过三年，已成为团队进一步选择Lyft的价格，位置，预计到达时间，绘图和自动驾驶产品的工具。实际上，Lyft说，Flyte现在管理着7,000多个独特的工作流，总计超过100,000个月执行，100万个任务和1000万个容器。
“由于数据现在已成为公司的主要资产，执行大规模计算工作对业务至关重要，但从运营角度来看，这是有问题的。扩展，监视和管理计算集群成为每个产品团队的负担，从而减慢了迭代速度，进而减慢了产品创新的速度。而且，这些工作流程通常具有复杂的数据依赖性。” Lyft在博客中写道。 “ Flyte的任务是通过抽象这些开销来提高机器学习和数据处理的开发速度。”
 
Flyte是一项多租户服务，使团队能够在单独的存储库上工作并部署它们，而不会影响平台的其余部分。使用依赖项对代码进​​行版本控制和容器化，以确保所有执行均具有可重复性。 (容器图像绑定到任务。)工作流可以进行参数化并具有丰富的数据沿袭，从而使开发人员能够分别调用不同的参数(AI模型内部的变量，这些变量定义了该模型在问题上的技能)。跑。 Flyte可以智能地使用先前执行中的缓存输出，从而节省了时间和内存。
Flyte中的工作流可以将任务链接在一起，并使用基于Python的领域特定的编程语言在任务之间传递数据。另外，由于Flyte中的每个实体都是不可变的(每个更改都明确记录为新版本)，因此可以快速迭代或回滚工作流，并且可以在工作流之间共享版本化任务。
Lyft说，Flyte任务可以任意复杂，从单个容器执行到配置单元群集中的远程查询，无所不包。更好的是，它们可以通过FlyteKit扩展和后端插件进行扩展，这使得贡献者可以与第三方服务和系统集成，同时提供对资源的细粒度控制。
Lyft写道：“ Flyte的构建是为了以现代产品，公司和应用程序所需的规模来推动并加速机器学习和数据编排。” “ Lyft和Flyte共同成长，看到了现代处理平台所提供的巨大优势，我们希望在开源Flyte中也能从中受益。”
Flyte的发布是在Lyft提供了一些用于模拟机器学习算法结果的工具之后的两年。最近，这家交通运输巨头开放了用于自动驾驶汽车开发的大型数据集。