在动荡的2019年之后，大数据的下一步是什么?

 
下周，当数千名数据科学家和业务分析师聚集在纽约参加今年的主要数据行业活动Strata时，他们将寻找当前商业和技术生态系统混乱的答案。
我们已经看到了2019年数据和分析领域的结构转变，这是由于看似无休止的收购浪潮，其中一些是真正的史诗般的比例：Salesforce以157亿美元收购了Tableau，而谷歌以26亿美元收购了Looker。估值进一步向下游但同样重要，CommVault以2.25亿美元收购了Hedvig，Cloudera收购了Arcadia Data，Logi Analytics收购了Zoomdata，Sisense收购了Periscope Data，Alteryx以2000万美元收购了ClearStory。这超过180亿美元的收购 – 而且我们只有四分之三的收入。
与此同时，Hadoop的急剧下跌今年进一步增加，Cloudera的股价在6月份下跌，而MapR的价值暴跌。由于Hadoop中存在如此多的企业数据，其下降引发了很多不确定性。
考虑到数据世界中的所有这些变化，我预计今年的Strata经验与前几年明显不同。以下是我预测将在展会现场，咖啡厅和派对后讨论最多的五件事。
1.这些收购才刚刚开始
2019年的收购浪潮才刚刚开始。也就是说，我们并没有考虑商业智能领域的根本转变。相反，随着企业寻求最大化商业智能(BI)投资，我们看到了一种自然的进步 – 获得更快，更简单，更准确的见解。商务智能正在逐渐脱离数据科学家的掌控之中，转移到决策者的手中 – 这就是为什么我们要在BI的解释方面看到更多的整合而在演示方面更少。
2.密切关注AI
在创业社区中，这是一个公开的秘密：如果你的标语中没有“AI”，那么你获得的资金就会减少。但这背后不仅仅是炒作。企业正在大数据生命周期中前进。建立数据纪律的阶段 – 即实现不丢弃任何数据的能力 – 已经落后于我们。现在，公司正处于从其数据中寻求可操作且可访问的见解的阶段。只有人工智能的机器学习应用才能理解如此庞大的数据集。而且我不是在谈论基于人工智能的Netflix基于你过去历史的观看建议。我正在谈论将AI的橡胶推向严重影响收入和竞争优势的道路上。
3.大量投资云应用程序
在海量数据集上实现有效实时BI所需的本地处理能力非常昂贵。本地技术是为批量处理而构建的，但今天的企业不能等待需要数小时或更长时间的工作。这就是为什么数据迁移到云已经过度加速的原因。而现在是时候让公司利用运行其业务的云特定版本的应用程序来获取此举的成果。新的应用程序项目从云原生版本开始。然而，90%的企业应用程序都是为了在本地运行而构建的 – 这些应用程序需要大规模定制或完全重建才能在云上运行。
4.Hadoop还没有死
Hadoop今年的自由落体 – 特别是考虑到Cloudera的股价崩盘和MapR陡峭的价值下跌 – 表明了不同时代的技术。今天，世界已经从本地存储和数十亿基于批处理的查询转变为基于大量基于云的数据集的实时分析。尽管如此炒作，但Hadoop还没有完全死亡。尽管Hadoop这个名字最终会从我们的词典中消失，但今年我在Strata上会听到很多关于它的讨论 – 主要是来自沮丧的数据利益相关者询问“Hadoop以外有什么选择?”和“我该怎么做”在Hadoop之后?“
5.安全和隐私：不在这里
在外部世界，几乎没有讨论不涉及隐私和安全的数据。然而，今年在Strata，我希望在数据本身的背景下提高隐私和安全问题。这很有趣，因为在Hadoop的鼎盛时期，有关于混淆，数据沿袭和其他安全考虑因素的无休止讨论。今天，由于转向云，数据安全在数据和分析社区中被视为大型技术和基础设施公司关注的问题 – 而不是他们的直接责任，而不是紧迫的会议问题。
每当成千上万的数据科学家和业务分析师会面时，事情就不可避免地变得有趣。然而今年，在泰坦尼克号沉没之后，我们正在谈论相当于造船厂的会议。 Hadoop的消亡和快速发展的BI环境将确保对智慧的追求