敏捷大数据与敏捷AI
2020-03-10
来源：宜信敏捷大数据团队
前言
人工智能的诞生可以追溯到上世纪50年代，在达特茅斯会议上，麦卡锡提出了AI的概念，但在初期的热度过后，人工智能的发展经历了多次低谷，直到从90年代中末期开始至今的这近二十年的时间里，人工智能才真正迎来了黄金时期。尤其是在近10年来，各方面因素都推动其不断发展：理论上，机器学习，尤其是统计学习和神经网络理论不断突破，效果显著；外部环境上，软硬件技术的进步为人工智能模型的实现提供了足够的计算能力；此外，极为重要的一个因素就是在数据方面，大数据技术的发展使人工智能终于摆脱了数据的桎梏，可以在充足的样本基础上提升模型的能力。可以说，现在各领域智能模型的研发绝大多数都离不开大数据技术的支持。
反过来看，人工智能对大数据技术同样有着极为重要的作用。一方面，对于利用大数据技术收集到的数据需要通过一些智能分析过程才能发现其中的价值；另一方面，通过对已有数据的智能分析，我们可以推导出更多的数据特征，甚至进一步指导数据生产的方向。所以在今天我们谈起大数据的利用，都不可避免地涉及到人工智能、机器学习等概念。
敏捷大数据平台栈作为一个实时数据基础设施平台，是对大数据理论与技术进一步发展的成果，自然也会有对智能化方面的研究与布局。敏捷大数据智能化的主要目标就是，结合敏捷大数据实施理念，研发灵活的、轻量化的智能模型，并在敏捷大数据平台上对数据流进行实时智能化处理，最终实现一站式的大数据智能分析实践。
为实现上述目标，我们对人工智能、机器学习、实时运算等技术，以及相关业务领域知识，乃至产品用户体验都进行了深入的研究与分析，本系列文章将把我们的理念和在上述过程中所获得的一些经验、成果与大家分享。
实时数据智能处理
如本公众号之前一系列文章所述，随着技术的发展，我们能够获得前所未有的海量数据，如果能够快速、高效地对这些数据进行处理，发现其中的高价值信息，无疑可以极大提升企业的应变能力，从而在复杂且易变的业务场景中迅速地做出战术乃至战略上的调整。因此，实时数据处理已成为未来大数据技术发展的主要方向。数据处理的实时化必然会对与数据紧密相关的智能分析模型造成影响，可以说，为了快速识别、适应外部环境的变化情况，各组织已经开始将数据实时处理能力与AI能力相结合，实现智能数据分析业务的快速交付。
实际上，针对实时数据流的智能化处理技术已经在很多行业中得到了先验。例如在互联网直播领域，基于视频流的实时滤镜、实时特效算法已经在快手、抖音等众多APP中普遍使用，而国外的Twitch等直播网站，也推出了实时游戏数据分析等AI插件来增强直播效果；在体育数据领域，基于实时赛况的球队、球员数据统计分析和赛况走势预测也在各体育数据提供商处，如Opta Sports等，得到了应用；在交通领域，基于实时交通信息的路况拥堵预测系统也已经开始实施。此类例子不一而足，但都反映了实时AI数据处理已经
免责声明：
1、IT项目管理界发布的所有资讯与文章是出于为业界传递更多信息之目的，并不意味着赞同其观点或证实其描述。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请浏览者仅作参考，并请自行核实相关内容。
2、本站部分内容转载于其他网站和媒体，版权归原作者或原发布媒体所有。如文章涉及版权等问题，请联系本站，我们将在两个工作日内进行删除或修改处理。敬请谅解！
-
延伸阅读：
-
