大数据技术假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，成长趋向若何？

[db:作者]

一、数据治理技术成长布景
大数据的技术是数据治理技术的一种假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，数据治理系统有着悠久的成长历史假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，它是一切计较机利用的根本预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。谈到数据治理的软件假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，必须关注数据治理软件所依靠的硬件情况和它来处理的利用处景假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，我们可以经过图1来熟悉数据治理软件的位置预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。首先它是一种软件假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，处于底层硬件和上层利用之间假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，本质上是操纵计较机硬件的存储和计较才能假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，对数据停止存储、治理、加工等操纵假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，终极为了支持上层各类利用预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。



图1 数据治理技术成长布景
数据治理技术到现在最少有50年的成长历史假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大要履历了几个成长阶段假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，见图2预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。第一个阶段是关系型数据模子的提出假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，为关系数据库成长奠基了理论根本；第二个阶段是Oracle和DB2等贸易关系型数据库的兴起和成长强大假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，起头了贸易数据库产物在各行各业的利用假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，数据库也正式成为了继办事器、操纵系统之外的第三个必须品；第三阶段由于营业场景的需要假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，数据库被分为面向营业的事务数据库和面向分析统计的分析数据库假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，两者之间的架构和建模方式也发生了变化假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，这是数据库技术的第一次分手；第四个阶段是数据库技术的散布式浪潮假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，最早是从数据分析端发生的假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，单机没法应对海量数据分析的需求假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，散布式水平扩大的需求提上日程假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，Hadoop、Spark和各类NoSQL都是为了应对这一需求而诞生假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，而散布式的技术也在2010年左右扩大到了事务数据库范畴假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，首要为了应对越来越多的互联网营业预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。



图2 数据治理系统的成长阶段
数据治理系统处于硬件和利用之间的位置决议了它本身的技术演进首要依靠于底层硬件的成长和上层利用真个需求变化预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。在硬件端假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，从上世纪70年月起头假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，通用办事器的芯片、内存的成长就遵守摩尔定律假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，单机的性能越来越强假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，鞭策着数据库的处置才能不竭增强假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，操纵内存才能也是一大趋向预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。而进入2000年假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，芯片处置才能的增加赶不上营业和数据的增加假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，单机系统的瓶颈显现假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，致使数据治理系统向散布式架构转型预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。在利用端假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，营业的互联网化、在线化使得营业流量和拜候频次呈指数级的增加假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，单机集合式架构处置碰到瓶颈假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，而移动互联网下动辄上万万的级的用户量假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，提出了海量数据分析的应战假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，散布式架构正是为应对这些应战而生预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
二、大数据技术成长过程
大数据的利用和技术起源于互联网假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，首先是网站和网页的爆发式增加假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，搜索引擎公司最早感遭到了海量数据带来的技术上的应战假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，随后兴起的交际收集、视频网站、移动互联网的浪潮加重了这一应战预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。互联网企业发现新数据的增加量、多样性和对处置时效的要求是传统数据库、贸易智能纵向扩大架构没法应对的预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
在此布景下假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，谷歌公司率先于2004年提出一套散布式数据处置的技术系统假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，即散布式文件系统谷歌文件系统（Google file system假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，GFS）、散布式计较系统MapReduce和散布式数据库BigTable假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，以较低本钱很好地处理了大数据面临的窘境假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，奠基了大数据技术的根本预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。受谷歌公司论文启发假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，Apache Hadoop实现了自己的散布式文件系统HDFS、散布式计较系统MapReduce和散布式数据库HBase假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，并将其停止开源假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，这是大数据技术开源生态系统的起点预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
2008年左右假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，雅虎最早在现真相况中搭建了大范围的Hadoop集群假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，这是Hadoop在互联网公司利用最早的案例假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，后来Hadoop生态的技术就渗透到了互联网、电信、金融甚至更多的行业预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。2009年UCBerkley大学的AMPLab研发出了Spark假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，经过5年的成长假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，正式替换了Hadoop生态中MapReduce的职位假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，成为了新一代计较引擎假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，而2013年纯计较的Flink诞生假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，对Spark发出了应战预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。2014年以后大数据技术生态的成长进入了平稳期预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。



图3 大数据分析技术的成长过程
经过10年左右的成长假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大数据技术构成了以开源为主导、多种技术和架构并存的特点预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。从数据在信息系统中的生命周期看假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大数据技术生态首要有5个成长偏向假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，包括数据收集与传输、数据存储、资本调剂、计较处置、查询与分析预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。在数据收集与传输范畴渐渐构成了Sqoop、Flume、Kafka等一系列开源技术假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，兼顾离线和实时数据的收集和传输预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。在存储层假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，HDFS已经成为了大数据磁盘存储的究竟标给假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，针对关系型之外的数据模子假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，开源社区构成了K-V（key-value）、列式、文档、图4类NoSQL数据库系统假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，HBase、Cassandra、MongoDB、Neo4j、Redis等数据库百花齐放预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。资本调剂方面假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，Yarn独领风骚假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，Mesos有一定成长签里预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。计较处置引擎方面渐渐覆盖了离线批量计较、实时计较、流计较等场景假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，诞生了MapReduce、Spark、Flink、Storm等计较框架预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。在数据查询和分析范畴构成了丰富的SQL on Hadoop的处理计划假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，Hive、HAWQ、Impala、Presto、Drill等技术与传统的大范围并行处置（massively parallel processor假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，MPP）数据库合作剧烈预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。



图4 大数据技术生态
三、大数据技术成长趋向
2014年今后假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，整体大数据的技术栈已经趋于稳定假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，由于云计较、野生智能等技术成长假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，还有芯片、内存真个变化假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大数据技术也在发生响应的变化预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。总结来看首要有几点成长趋向：
一是流式架构的更替假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，最早大数据生态没有法子同一批处置和流计较假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，只能采用Lambda架构假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，批的使命用批计较引擎假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，流式使命采用流计较引擎假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，比如批处置采用MapReduce假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，流计较采用Storm预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。后来Spark试图从批的角度同一流处置和批处置假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，Spark Streaming采用了micro-bach的思绪来处置流数据预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。近年来纯流架构的Flink异军突起假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，由于其架构设想公道假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，生态健康假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，近年来成长出格快预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。而Spark近期也抛弃了本身微批处置的架构假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，转向了纯流架构Structure Streaming假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，流计较的未来霸主还未见分晓预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
二是大数据技术的云化假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，一方面是私有云营业的成熟假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，众多大数据技术都被搬到了云上假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，其运维方式和运转情况都发生了较大变化假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，带来计较和存储资本加倍的弹性变化假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，另一方面假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，私有摆设的大数据技术也逐步采用容器、虚拟化等技术假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，期望加倍邃密化地操纵计较资本预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
三是异构计较的需求假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，近年来在通用CPU之外假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，GPU、FPGA、ASIC等芯片成长迅猛假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，分歧芯片擅长分歧的计较使命假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，例如GPU擅长图像数据的处置假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大数据技术起头尝试按照分歧使命来挪用分歧的芯片假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，提升数据处置的效力预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
四是兼容智能类的利用假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，随着深度进修的突起假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，AI类的利用越来越普遍假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大数据的技术栈在尽力兼容AI的才能假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，经过一站式的才能来做数据分析和AI利用假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，这样开辟者就能在一个工具站中编写SQL使命假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，挪用机械进修和深度进修的算法来练习模子假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，完成各类数据分析的使命预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
四、总结与展望
数据治理技术已经成长了50多年了假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大数据技术是在数据治理技术的根本上假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，面向大范围数据分析的技术栈假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，它主如果散布式架构的设想思绪假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，经过并行计较的方式来提升处置效力假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，同时具有了高扩大才能假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，按照营业需求随时扩大预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。经过15年左右的成长假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大数据的技术栈逐步成熟假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，但是近年来云计较、野生智能等技术的成长假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，还有底层芯片和内存真个变化假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，以及视频等利用的提高假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，都给大数据技术带来新的要求预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。未来大数据技术会沿着异构计较假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，批流融合假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，云化假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，兼容AI假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，内存计较等偏向延续更迭假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，5G和物联网利用的成熟假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，又将带来海量视频和物联网数据假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，支持这些数据的处置也会是大数据技术未来成长的偏向预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
作者简介
姜春宇：中国信息通讯研讨院云计较与大数据研讨所大数据与区块链部副主任假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，大数据技术标准推动委员会办公室主任预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。研讨偏向为大数据技术利用、数据库技术、数据资产治理、数据畅通预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。建立了国内首个大数据产物才能评测系统假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，制定了Hadoop平台、MPP数据库、数据集成工具、数据治理平台、散布式数据库等多项大数据技术标准标准预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。介入起草《促进国家大数据成长行动纲领》假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，介入编写工信部《大数据产业十三五计划》假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，介入起草国内第一个数据买卖法则假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，介入编写《数据资产治理理论白皮书》、《金融散布式事务数据库白皮书》预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
邮箱：jiangchunyu1@caict.ac.cn
文章来历：中国信通院CAICT