智能数据如何解决云中的鸿沟

 
随着云技术的进步和云迁移的激增，在商业智能(BI)，人工智能(AI)和机器学习(ML)高级分析方面，“自助服务”文化得以发展。这就是智能数据如何解决云中的鸿沟。
自助式高级分析功能使组织中的业务用户可以自己使用BI工具直接访问和分析数据。我们将不再需要依靠训练有素的数据工程师来为BI工具采购数据，也不必依靠数据科学家来建模和预测结果。
自助分析的兴起
采购和保留数据工程师和数据科学家或外包数据分析不仅昂贵，而且耗时。在瞬息万变的信息时代，最有可能成功的公司是那些不仅从其数据中收集最有利可图的洞察力，而且比竞争对手更快，更灵活地行动起来的公司。
等待数据工程师为数据科学家准备和收集数据可能是一个缓慢的过程。它将需要与IT部门合作，从而进一步放慢速度。如果数据科学家不太了解业务用户的需求，或者什么见解和相关性最能帮助他们成功，则结果可能不是最佳的。
由于这些原因，供应商正在越来越多地开发自助服务分析产品。
这些解决方案使企业用户可以成为俗称的“公民数据科学家”。企业用户可以直接访问和利用从各种来源收集来的数据，而无需他们具有统计或技术背景。
这种日益增长的自助服务数据分析方法使技术含量较低的人可以进行数据科学，而不必依赖繁琐的端到端过程，而该过程因依赖数据工程而受阻。
自助服务分析和公民数据科学家从根本上改变了企业内部数据使用的格局。
根据2018年阿伯丁(Aberdeen)一项调查BI分析解决方案的B2B购买行为的调查，最终推动企业BI分析购买决策的最高标准比所有其他考虑都更倾向于业务用户。
我们看到了易用性，易于与当前IT结构集成，部署效率，与多种类型的数据源的连接性以及数据检索的速度。
阿伯丁高级副总裁兼首席分析师迈克·洛克(Mike Lock)预测：
“准备取得成功的公司是那些专注于将[分析]权交给公民数据科学家的公司。这是真正的机会所在–这项先进技术与走在我们组织大厅中的公民数据科学家之间的联系。”
但是，在大多数组织采用自助服务分析文化的过程中，存在一个主要障碍：统一数据访问。
统一数据和云数据转换的局限性
假设您的组织中的每个部门都使用不同的语言。销售人员说英语，市场营销说西班牙语，会计说普通话，等等。
至少可以说，检索和合并对于管理至关重要的信息将很困难。每个部门都需要单独的翻译人员来解释信息，以便每个人都可以阅读。一些信息可能会在翻译中丢失。
一种语言固有的细微差别和特质可能不会被另一种语言所理解，从而混淆了某些事物的含义并无意间产生了错误的信息。不用说，这种情况会对您的平稳运行和有效计划的能力产生负面影响，同时无疑会损害您的利润。
尽管这家通天塔公司只是假设性的，实际上并不存在，但如今许多公司的数据也处于类似情况。
这些公司具有跨多种系统和服务器的，具有多种格式的多种数据类型。其中一些存储在云中，某些存储在本地服务器中，并且通常采用不同的格式，并受不同的策略和安全性实践支配。
统一数据是描述此数据汇总的术语。
整个组织中来自所有来源的所有不同数据，在一个地方收集在一起，形成一个视图。为了实现统一的数据访问，组织通常进行称为云数据转换的过程。
云数据转换使所有格式和来自所有来源(包括基于云的和本地的)的所有数据都可读且可访问。此过程可能会成败组织云迁移的成功。但是，存在许多关键挑战，这些挑战使云数据转换成为一项长期，复杂且通常昂贵的工作。
云是一个独特的不同操作环境，具有新的集成，定价模型，安全控制和优化策略。云平台可能需要重组企业数据，需要大量的ETL和数据转换项目。
与外部系统和BI工具的互操作性可能会受到限制。供应商锁定可能会出现问题;许多供应商以专有格式存储数据，从而有效地将客户链接到一个解决方案。某些孤立的或本地的数据可能会附加到较旧的旧系统，如果不对这些系统进行重新设计，这些旧数据将无法移动。
合并来自具有不同用户和配置并遵循不同合规性协议的许多筒仓中的数据时，可能难以维护安全性和权利。
智能数据虚拟化是云数据转换的桥梁。
如果统一数据访问是目标，而云数据转换是实现该目标的手段，那么我们如何减轻云数据转换固有的巨大挑战呢?最常见的解决方案是数据虚拟化，但是它有一些限制。
顾名思义，数据虚拟化可以将所有数据虚拟化，无论它位于何处。这使您可以将所有数据用于收集和分析，而不必将其提升并转移到云中。数据虚拟化旨在提供统一的数据访问，无论您的组织在云迁移过程中处于何处。
在按照自己的节奏和条件进行云迁移时，您仍然可以获得共享数据智能的好处，该知识使公司的所有不同分支机构能够团结一致地采取行动，为共享目的做出洞察力驱动的决策，并且培养自助分析文化。
但是，即使使用数据虚拟化，您仍然可能最终只能部分了解数据，而无法进行统一的数据访问。这样做的主要原因有三个。
1.许多传统的数据虚拟化提供商迫使客户将其虚拟化的所有数据转换为专有格式，然后才能读取和理解TechTarget。经常发生的是，所有数据都被还原为最低公分母状态，因此可以集成到一个地方以查看单个视图。但是这种转换过程可能会导致数据在翻译中出现偏斜或丢失。例如，您有一个严格专用于关系数据库的数据集。您希望数据保持原样，但同时还需要组织中其他部门可以访问的数据，以便他们可以将其与自己的数据结合以获取各种见解。但是，将该数据集转换为供应商的格式可能会牺牲它所在的数据库所提供的某些特殊功能。如果没有原始数据库的上下文和功能，则数据集可能会不可靠，并且您的组织可能会基于现在有问题的数据进行决策。
2.此外，许多供应商的专有数据格式无法与其他技术互操作。因此，由于供应商锁定，您最终会遇到新的筒仓问题以及持续的集成问题。
3.随着数据的发展和增长，管理分散的数据源以运行快速查询所需的数据工程量越来越大，您可能会陷入困境。为解决这一挑战，公司正在使用由机器学习支持的自主数据工程功能来构建加速结构查询和确保快速响应时间。
智能数据虚拟化：数据的罗塞塔石碑
为了克服大多数数据虚拟化解决方案中的固有故障，并使组织具有真正的自助分析文化，您需要一种与源无关的新数据虚拟化方法，该方法可以读取所有格式的所有数据并与之通信。
本质上，是数据的罗塞塔石碑。这种新颖的方法是数据虚拟化的发展形式，称为智能数据虚拟化。它与源无关，可让您使用所需的任何BI工具访问和分析数据，并且零附加安全风险。
不可知源
智能数据虚拟化完全不了解数据源的格式。这意味着您的数据不必以任何方式复制或转换。不必依赖复杂而费时的数据转换或数据移动方法，它可以保持原样，并且可以将其虚拟转换为呈现给业务用户的通用业务语言。
现在，您拥有了一个共享的数据智能，每个人都可以阅读。公司的所有不同分支机构不仅可以出于自己独特的目的访问和分析数据，而且可以团结一致地采取行动，以洞察力为导向来制定共同的决策。就这么简单。
选择您自己的BI工具
许多公司已经在BI工具上投入了大量资金，并且大多数企业级公司使用许多不同的工具。例如，一个部门可能使用Tableau，而另一个部门则更喜欢Microsoft Power BI或Excel。
挑战在于这些BI工具中的每一个都有其自己的查询语言，这将导致不同工具之间的查询结果不同，从而使准确性和可靠性受到质疑。借助智能数据虚拟化，您可以使用任何所需的BI工具。
您不必将所有用户都局限于BI软件的单一标准。无论您选择使用哪种BI工具，所有数据都将可访问，查询将返回一致的答案。由你决定。
没有额外的安全风险
与大多数旨在提供统一数据访问的解决方案不同，智能数据虚拟化使公司能够将数据保留在原位。这意味着管理数据的所有现有安全解决方案和策略也将保留在原位。
尽管您的数据对于所有用户和许多不同的BI工具而言都是可读的，但您的权限和策略不会更改。通过跟踪数据的沿袭和用户的身份，将安全和隐私信息一直保存到各个用户。
即使使用连接池中的共享数据连接，用户的身份也会被保留和跟踪。当用户使用可能具有不同安全策略的多个数据库时，策略将无缝合并，并且全局安全性和合规性策略将应用于所有数据。
在您自己的现有安全策略和设备下，您的数据仍然像现在一样安全，并且不需要其他安全措施。
未来不会对你有例外
在不远的过去，计算机是经过认证的专家的领域。在给定的公司中，他们的数量有限，而且大多数员工都使用笔，纸或打字机工作，而对那些脑筋急转弯的IT员工对计算机的处理方式了解甚少。
如今，办公室中几乎每位员工都拥有自己的工作PC和宽带互联网接入。计算机更加直观和用户友好，计算机素养是常态，并非例外。通过这种技术为组织带来价值不再需要专门的专家。
如今，分析和商业智能仍在很大程度上属于数据科学家领域，但是随着个人计算机的发展和外行人学会使用它们，BI工具对于普通员工或“公民数据科学家”而言越来越可用。
那些迎接这一趋势并促进数据利用和利用方式转变的组织将更容易在一个掌握数据的人决定谁能够生存，谁能落入以前所未有的速度变化的业务环境中的时代取得成功。
将统一数据访问作为首要任务的公司将最好地创建和培育这种改变游戏规则的自助服务分析文化，并将其业务用户转变为公民数据科学家。
为了实现统一的数据访问，无论您在云迁移中的任何位置，或使用哪种类型的架构(内部部署，公共云，私有云或混合)，智能数据虚拟化都是最高效，令人担忧的免费且经济高效的方法，可为您提供真正的统一数据访问。
证书：大部分内容最初是由联合创始人兼技术副总裁David P. Mariani在AtScale上发布的。