软件工程大数据查询怎样才能避免越来越

大多数大型组织都实现了一个或多个大数据应用程序。随着他们积累越来越多的金融交易、销售数据和客户交互,他们就可以生成更加准确的销售预报和预测客户需求趋势。这将转换为更大的市场份额和更高的收益。

然而,随着积累的数据越来越多,内部用户和分析师会执行更多的报表和预报。这些都会导致额外的查询、分析及报表。这个循环还在继续:数据增长带来更好的分析,而分析又会产生更多的报表。最终,大数据应用程序会充满大量的数据,从而影响查询性能。

如何避免这个问题呢?

大数据信息获取与存储

信息技术(IT)支持人员可以从几个方面去主动解决大数据应用程序的性能问题。第一个是数据获取与存储,有时候也称为提取、转换与加载(ETL)。

大数据应用程序会将它们的数据存储在一个大型数据库或者一个特殊的混合硬件/软件设备中。有时候也会混合使用这两种方法。大型数据库可能是关系数据库(如IBMDB2)或数据库机器(Teradata)。设备是一种整合大规模并行I/O通道和超大磁盘阵列的新数据存储手段。在很多时候,它们还需要与一个现有数据仓库协同工作,因为可能组织中大量现有分析数据都已经存储在这个数据仓库中。

数据的最后一个方面是帮助我们确定需要对运营数据执行多少预处理。这有时候称为数据整理。常见的例子包括处理缺失或无效的数据,将代码替换为描述性分类数据,以及为具有唯一自然键的实体分配代理键。

数据从运营系统和外部数据源到达应用程序。IT必须保证来自运营系统的数据元素的正确性,其格式要适合批量加载。数据通道既要有足够快的数据传输速度,也要有足够大的带宽去支持多数据流的交行传输。大数据应用程序的日常增长每天都会增加GB数量级的数据。

一定要保证这些数据能够快速高效地传输。

大多数据数据库管理系统(DBMS)和设备都有一些用于加载数据的专有工具。这些工具有时候要求输入数据使用一种固定的格式。要检查这些需求及其他选项,确定是否有一些方法可以保证数据加载速度满足要求。对于关系数据库,有一种常用方法是合适分区表。例如,在表中定义用4个分区来存储一天的数据。这样IT人员就可以设计一个加载流程来并发加载4个分区。

最后一领域是数据存档和净化。虽然表面上数据量越多就自然可以推出分析更好,但是一些历史数据可能变老或失效。例如,一些已停止销售产品的销售数据,公司停止服务地区的客户数据等。这些数据应该净化或存档。净化可以减少所需要的数据存储量,而存档则允许在将来需要数据时重新加载数据。无论是哪一种情况,减小工作数据库的大叔都可以加快查询速度,因为它不再需要过时的数据。

大数据用户

谁是你的用户,他们如何查询你的数据?典型的用户是一位业务分析师和主题专家,他们理解你的业务数据,具有高明又高效地访问大数据应用程序的技术知识。这可能意味着他们精通SQL等查询语言。另一个方法是安装分析软件,展示图形化业务数据视图,并且基于用户界面来构建查询。

在许多组织中,他们安装的第一个大数据应用程序就是为了解决一些特殊问题,或者为了分析预定问题,即用例。分析师已经知道哪一些查询可以产生有用且可操作的智能。

接下来,第一次分析的结果是产生“如果……将会怎么样(whatif)”的问题,这会导致需要访问更多数据的更多查询。随着这些查询提供数量更多的有用结果,管理层自然会开始将它们调整为常规报表。

IT支持人员必须规划查询在数量与复杂度方面的增长需求。这比规划未来数据存储容量增长要复杂得多。复杂查询要求数据库管理系统选择一条高效的数据访问路径。这可能要求增加给数据库一些提升性能的特性,如索引或数据分区。有可能多个查询使用同一个数据集合,如按区域划分的销售数据或按月份及客户类型划分的客户数据。在这些情况下,就有可能预先计算好这些数据集合,将它们单独存储在不同的位置,从而大大提升查询性能。

另一个







































天津治白癜风最好的医院
白癜风专家有哪些



转载请注明地址:http://www.henanledxianshiping.com/rjkf/6704.html
  • 上一篇文章:
  • 下一篇文章: