从技术方面分析大数据问题

　　大数据时代已经来临，大数据技术在学业，工业中的不断出现也证明了它的重要性，它的技术包含很多层面，我们需要在各个环节认真的研究这项技术。

       大数据关键技术

　　1，大数据生命周期

　　底层是基础设施，涵盖计算资源、内存与存储和网络互联，具体表现为计算节点、集群、机柜和数据中心。在此之上是数据存储和管理，包括文件系统、数据库和类似YARN的资源管理系统。然后是计算处理层，如hadoop、MapReduce和Spark，以及在此之上的各种不同计算范式，如批处理、流处理和图计算等，包括衍生出编程模型的计算模型，如BSP、GAS 等。数据分析和可视化基于计算处理层。分析包括简单的查询分析、流分析以及更复杂的分析(如机器学习、图计算等)。查询分析多基于表结构和关系函数，流分析基于数据、事件流以及简单的统计分析，而复杂分析则基于更复杂的数据结构与方法，如图、矩阵、迭代计算和线性代数。一般意义的可视化是对分析结果的展示。但是通过交互式可视化，还可以探索性地提问，使分析获得新的线索，形成迭代的分析和可视化。基于大规模数据的实时交互可视化分析以及在这个过程中引入自动化的因素是目前研究的热点。

　　2.大数据技术生态

　　大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各处理环节中都可以采用并行处理。目前，Hadoop、MapReduce和Spark等分布式处理方式已经成为大数据处理各环节的通用处理方法。

　　低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS 和MapReduce 组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。因此，各种基于Hadoop的工具应运而生。为了减少管理成本，提升资源的利用率，有当下众多的资源统一管理调度系统，例如Twitter 的Apache Mesos、Apache 的YARN、Google 的Borg、腾讯搜搜的Torca、Facebook Corona(开源)等。

　　3.大数据采集与预处理

　　在大数据的生命周期中，数据采集处于第一个环节。根据MapReduce产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。对于不同的数据集，可能存在不同的结构和模式，如文件、XML 树、关系表等，表现为数据的异构性。对多个异构的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。针对管理信息系统中异构数据库集成技术、Web 信息系统中的实体识别技术和DeepWeb集成技术、传感器网络数据融合技术已经有很多研究工作，取得了较大的进展，已经推出了多种数据清洗和质量控制工具，例如，美国SAS公司的Data Flux、美国IBM 公司的Data Stage、美国Informatica 公司的Informatica Power Center。

　　4.大数据存储与管理

　　传统的数据存储和管理以结构化数据为主，因此关系数据库系统(RDBMS)可以一统天下满足各类应用需求。大数据往往是半结构化和非结构化数据为主，结构化数据为辅，而且各种大数据应用通常是对不同类型的数据内容检索、交叉比对、深度挖掘与综合分析。面对这类应用需求，传统数据库无论在技术上还是功能上都难以为继。因此，近几年出现了oldSQL、NoSQL 与NewSQL 并存的局面。总体上，按数据类型的不同，大数据的存储和管理采用不同的技术路线，大致可以分为3类。第1类主要面对的是大规模的结构化数据。针对这类大数据，通常采用新型数据库集群。它们通过列存储或行列混合存储以及粗粒度索引等技术，结合MPP(Massive Parallel Processing)架构高效的分布式计算模式，实现对PB 量级数据的存储和管理。这类集群具有高性能和高扩展性特点，在企业分析类应用领域已获得广泛应用;第2类主要面对的是半结构化和非结构化数据。应对这类应用场景，基于Hadoop开源体系的系统平台更为擅长。它们通过对Hadoop生态体系的技术扩展和封装，实现对半结构化和非结构化数据的存储和管理;第3类面对的是结构化和非结构化混合的大数据，因此采用MPP 并行数据库集群与Hadoop 集群的混合来实现对百PB 量级、EB量级数据的存储和管理。一方面，用MPP 来管理计算高质量的结构化数据，提供强大的SQL和OLTP型服务;另一方面，用Hadoop实现对半结构化和非结构化数据的处理，以支持诸如内容检索、深度挖掘与综合分析等新型应用。这类混合模式将是大数据存储和管理未来发展的趋势。

　　5.大数据计算模式与系统

　　所谓大数据计算模式，即根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象(abstraction)或模型(model)。例如，MapReduce 是一个并行计算抽象，加州大学伯克利分校著名的Spark系统中的“分布内存抽象RDD”，CMU 著名的图计算系统GraphLab 中的“图并行抽象”(Graph Parallel Abstraction)等。传统的并行计算方法，主要从体系结构和编程语言的层面定义了一些较为底层的并行计算抽象和模型，但由于大数据处理问题具有很多高层的数据特征和计算特征，因此大数据处理需要更多地结合这些高层特征考虑更为高层的计算模式。

　　6.大数据分析与可视化

　　基于机器学习的大数据分析具有自己独特的特点。

　　(1)迭代性：由于用于优化问题通常没有闭式解，因而对模型参数确定并非一次能够完成，需要循环迭代多次逐步逼近最优值点。

　　(2)容错性：机器学习的算法设计和模型评价容忍非最优值点的存在，同时多次迭代的特性也允许在循环的过程中产生一些错误，模型的最终收敛不受影响。

　　(3)参数收敛的非均匀性：模型中一些参数经过少数几轮迭代后便不再改变，而有些参数则需要很长时间才能达到收敛。

　　大数据技术面临的问题

　　1，如何利用信息技术等手段处理非结构化和半结构化数据

　　大数据中，结构化数据只占 15%左右，其余的 85%都是非结构化的数据，它们大量存在于社交网络、互联网和电子商务等领域。另一方面，也许有 90%的数据来自开源数据，其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。大数据刺激了大量研究问题。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰，这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。给定一种半结构化或非结构化数据，比如图像，如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?值得注意的是，大数据每一种表示形式都仅呈现数据本身的侧面表现，并非全貌。

　　如果把通过数据挖掘提取 “粗糙知识” 的过程称为 “一次挖掘” 过程，那么将粗糙知识与被量化后主观知识，包括具体的经验、常识、本能、情境知识和用户偏好，相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质” 的飞跃。

　　2，如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

　　这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看，依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成，从而导致大数据统一理论的完备。从短期而言，学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则，以支持大数据的交叉工业应用。管理科学，尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

　　大数据的复杂形式导致许多对 “粗糙知识” 的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的 “二次挖掘” 过程中。这里人机交互将起到至关重要的作用。

　　3，数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

　　在大数据环境下，管理决策面临着两个 “异构性” 问题：“数据异构性” 和 “决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验，而管理决策又是以数据分析为基础的。

　　大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外，决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做 “二次挖掘”。无论大数据带来了哪种数据异构性，大数据中的 “粗糙知识” 仍可被看作 “一次挖掘” 的范畴。通过寻找 “二次挖掘” 产生的 “智能知识” 来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的，相当于研究如何将决策者的主观知识参与到决策的过程中。

　　大数据的数据分析其实也是对我们的生活环境和习惯的分析，凭借大数据分析这种手段，为人们提供更合适的产品服务或发展方向，也是大数据的实用意义。