大数据分析存在的问题及建议.pdfVIP

大数据分析存在的问题及建议

1、解决方案无法提供新见解或及时的见解

（1）数据不足

有些组织可能由于分析数据不足，无法生成新的见解。在这种

情况下，可以进行数据审核，并确保现有数据集成提供所需的见

解。新数据源的集成也可以消除数据的缺乏。还需要检查原始数据

是如何进入系统的，并确保所有可能的维度和指标均已经公开并进

行分析。最后，数据存储的多样性也可能是一个问题。可以通过引

入数据湖来解决这一问题。

（2）数据响应慢

当组织需要实时接收见解时，通常会发生这种情况，但是其系

统是为批处理而设计的。因此有些数据现在仍无法使用，因为它们

仍在收集或预处理中。

检查组织的ETL(提取、转换、加载)是否能够根据更频繁的计

划来处理数据。在某些情况下，批处理驱动的解决方案可以将计划

调整提高两倍。

（3）新系统采用旧方法

虽然组织采用了新系统。但是通过原有的办法很难获得更好的

答案。这主要是一个业务问题，并且针对这一问题的解决方案因情

况而异。最好的方法是咨询行业专家，行业专家在分析方法方面拥

有丰富经验，并且了解其业务领域。

2、不准确的分析

（1）源数据质量差

如果组织的系统依赖于有缺陷、错误或不完整的数据，那么获

得的结果将会很糟糕。数据质量管理和涵盖ETL过程每个阶段的强

制性数据验证过程，可以帮助确保不同级别(语法、语义、业务等)

的传入数据的质量。它使组织能够识别并清除错误，并确保对某个

区域的修改立即显示出来，从而使数据纯净而准确。

（2）与数据流有关的系统缺陷

过对开发生命周期进行高质量的测试和验证，可以减少此类问

题的发生，从而最大程度地减少数据处理问题。即使使用高质量数

据，组织的分析也可能会提供不准确的结果。在这种情况下，有必

要对系统进行详细检查，并检查数据处理算法的实施是否无故障

3、在复杂的环境中使用数据分析

（1）数据可视化显示凌乱

如果组织的报告复杂程度太高。这很耗时或很难找到必要的信

息。可以通过聘请用户界面(UI)/用户体验(UX)专家来解决此问题，

这将帮助组织创建引人注目的用户界面，该界面易于浏览和使用。

（2）系统设计过度

数据分析系统处理的场景很多，并且为组织提供了比其需要还

要多的功能，从而模糊了重点。这也会消耗更多的硬件资源，并增

加成本。因此，用户只能使用部分功能，其他的一些功能有些浪

费，并且其解决方案过于复杂。

确定多余的功能对于组织很重要。使组织的团队定义关键指

标：希望可以准确地测量和分析什么，经常使用哪些功能以及关注

点是什么。然后摒弃所有不必要的功能。让业务领域的专家来帮助

组织进行数据分析也是一个很好的选择。

4、系统响应时间长

（1）数据组织效率低下

也许组织的数据组织起来非常困难。最好检查其数据仓库是否

根据所需的用例和方案进行设计。如果不是这样，重新设计肯定会

有所帮助。

（2）大数据分析基础设施和资源利用问题

问题可能出在系统本身，这意味着它已达到其可扩展性极限，

也可能是组织的硬件基础设施不再足够。

这里最简单的解决方案是升级，即为系统添加更多计算资源。

只要它能在可承受的预算范围内帮助改善系统响应，并且只要资源

得到合理利用就很好。从战略角度来看，更明智的方法是将系统拆

分为单独的组件，并对其进行独立扩展。但是需要记住的是，这可

能需要对系统重新设计并进行额外的投资。

5、维护成本昂贵

（1）过时的技术

组织最好的解决办法是采用新技术。从长远来看，它们不仅可

以降低系统的维护成本，还可以提高可靠性、可用性和可扩展性。

逐步进行系统重新设计，并逐步采用新元素替换旧元素也很重要。

（2）并非最佳的基础设施

基础设施总有一些优化成本的空间。如果组织仍然采用的是内

部部署设施，将业务迁移到云平台可能是一个不错的选择。使用云

计算解决方案，组织可以按需付费，从而显著降低成本。

（3）选择了设计过度的系统

如果组织没有使用大多数系统功能，则需要继续为其使用的基

础设施支付费用。组织根据自己的需求修改业务指标并优化系统。

可以采用更加符合业务需求的简单版本替换某些组件。