敏捷大数据与敏捷AI

数据分析的业务人员，也许不需要太过精准的模型性能，但最好能够保证分析系统实施的便捷性、业务逻辑实现的迅捷性。我们已经让数据处理变得敏捷，那么如何将数据智能也变得更加敏捷呢？为了解决这一问题，我们提出了敏捷AI的实施思路，即在现有敏捷大数据产品的基础之上，基于业务场景设计开发一系列可插拔的实时智能模型算子，这些模型涵盖了业务场景内常见的智能化数据分析需求，具有较强的通用性和复用性，能够无缝接入敏捷大数据平台上的实时数据流并向平台输出分析结果，根据需要实时流入各业务端，最终实现基于实时数据流的智能分析过程。在敏捷大数据产品和敏捷AI的支持下，业务人员可以根据业务场景快速构建从实时数据处理平台到实时数据智能分析，再到实时数据展示的整个智能化数据治理流程，并可根据效果灵活调整试错，极大降低实时智能化业务分析的实施成本。

在上述敏捷AI的实施思路下，我们着手构建敏捷AI算法库，这是一套基于业务领域划分的轻量级通用数据模型集合。其中的每个模型的设计应该遵循以下原则：

• 轻量级，对模型复杂度进行适当的控制保证数据处理的实时性；

• 独立性，尽量减少环境依赖或保证环境的部署独立性，避免由模型引入给系统整体带来的环境依赖变动；

• 单一性，各模型功能尽量单一，保证各模型功能的平行性；

• 数据普适性，除部分模型存在一些必需的特征外，各模型应保证对接入数据的普遍适应能力，通过一定的配置或映射即可以适应绝大多数的业务场景。

为了实现上述要求，我们在研发模型时将不可避免地在某些方面做出一些取舍，例如模型若想通用必将会导致性能的一定程度下降，如何在这些矛盾中寻求一个合理的折中，也是在设计时需要考虑的问题。目前，我们已经针对一些领域开始研发敏捷AI模型，经过实际测试与应用后，不久的将来就将整合进现在的敏捷大数据产品栈中。此外，在未来我们还可以公布相关接口和规约，让用户也有能力将自己的模型加入到库中。

实时数据的智能化分析是未来大数据技术和人工智能技术发展的重要方向之一，如何降低这一实施过程的经济成本、时间成本、技术成本以及变更成本，是敏捷大数据和敏捷AI着重解决的关键问题。本文结合敏捷大数据产品提出了一种解决思路，希望我们的产品能够帮助各组织方便、快速、灵活地构建自己的实时大数据智能分析系统。（来源：宜信敏捷大数据团队）