免费下载！
[!--downpath--]⼤数据期终知识点总结⼤数据特征：⼤数据特征：五个主要技术特征：5V（⼤体量）：即可从数百TB到数⼗数百PB、甚⾄EB规模。（多样性）：即⼤数据包括各类格式和形态的数据。（时效性）：即好多⼤数据须要在⼀定的时间限度下得到及时处理。（确切性）：即处理的结果要保证⼀定的确切性。Value（⼤价值）：即⼤数据包含好多深度的价值，⼤数据剖析挖掘和利⽤带来巨⼤的商业价值。⼤数据概念：⼤数据概念：⼤数据是指数据规模⼤，尤其指由于数据方式多样、⾮结构化特点显著，造成数据储存、处理和挖掘异常困难的那类数据集。⼤数据性质：⼤数据性质：⾮结构性，不完备性，时效性，安全性，可靠性⼤数据技术概述：⼤数据技术概述：⼤数据及时是指从数据采集、清洗、集成、分析与解释，进⽽从各类各样的巨量数据中快速获得有价值信息的全部技术。⼤数据趋势：⼤数据趋势：⼤数据细分市场、⼤数据促使企业发展、⼤数据剖析的新⽅法出现、⼤数据与云估算⾼度融合、⼤数据⼀体化设备相继出现、⼤数据安全⽇益遭到注重。⼤数据应⽤实例：⼤数据应⽤实例：⽹络⼤数据、⾦融⼤数据、企业⼤数据、政府管理⼤数据、安全⼤数据。
在医疗⾏业西医疗保健内容的预测剖析、早产婴⼉的预测剖析、精确诊断的预测剖析在能源⾏业中：智能电⽹、风⼒系统借助⼤数据技术对⽓象数据进⾏剖析在通讯⾏业中：通过剖析顾客的资料剖析顾客需求交通⾏业中：汽车的运输管理，解决公路堵车零售业中：搜集社交信息，剖析消费者⽔平科学研究四个范式：科学研究四个范式：第⼀范式：第⼀范式：概念：科学实验主要描述⾃然现象，以观察和实验为根据的研究，也可称为经验范式。内容：实验是⼈们为实验预定⽬的，在⼈⼯控制条件下，通过⼲预和控制科研对象⽽观察和探求科研对象的规律和机制的⼀种研究⽅法，特点：纯化观察对象条件、强化观察对象、可重复性第⼆范式：第⼆范式：概念：以建模和归纳为基础的理论学科和剖析范式，⼜称为理论范式。内容：是对某种经验现象或事实的科学解说和系统解释，他是由⼀系列特定的概念、原理、命题以及对她们的严密论证组成的知识体系。特点：具象性、逻辑性、系统性第三范式：第三范式：概念：是以模拟复杂现象为基础的估算科学范式⼜称模拟范式内容：模拟有三种⽅法物理模型⽅法模拟程序⽅法数学模型⽅法特点：⾼度具象⾼度精确具有普遍意义第四范式：第四范式：概念：以考察为基础，联合理论、实验、和模拟⼀体的数据密集估算的范式内容：数据被捕获或则由模拟器⽣成，利⽤软件处理，信息和知识储存在计算机中国，科学家使⽤数据管理和统计学⽅法剖析数据特点：处理对象是数据光现象的知识点归纳，是围绕数据展开的估算；估算的涵义是从数据获取到管理再到剖析、理解的整个过程；其⽬的是推进技术前沿发展，⽬标是依赖传统的单⼀数据源和准静态数据库⽆法实现的应⽤。
可伸缩性：可伸缩性：⼜称可扩充性，是指通过扩充系统规模来提⾼性能并处理更⼤数目的⽤户和通过扩充系统规模提⾼系统的容错能⼒等横⾏扩充：横⾏扩充：向逻辑单元之外的扩充，降低更多逻辑单元的资源，并使她们像⼀个单元⼀样⼯作。CAP定律：定律：⼀个分布式系统不可能同时满⾜⼀致性、可⽤性和分区容错性三个系统需求，最多只能同时满⾜俩个系统需求。在考虑满⾜系统需求时光现象的知识点归纳，要按照实际须要来选择关注点，进⽽采⽤相应的策略。函数式编程优点：函数式编程优点：逻辑可证、模块化、组件化、易于调试、易于测试、更⾼的⽣丰度函数式编程的特点：函数式编程的特点：没有副作⽤、⽆状态编程、只有输⼊值与输出值是⾕歌针对⼤规模群组中的海量数据处理⽽提出的分布式编程模型是⼀个⽤于搜集、共享和剖析来⾃⽹络的⼤量结构化、半结构化和⾮结构化数据的平台。优点：⽅便、健壮、横向可扩充、简单。与sql数据库⽐较：纵向扩充取代横向扩充、键值对替代关系表、函数式编程取代申明式查询、离线批量处理取代在线处理流式数据的特点：实时性，易失性，突发性，⽆序性，⽆限性，可靠性流式估算性能指标：估算⽅式，常驻空间，时效性，有序性，数据量，数据速度，是否可再现，联通对象，数据精确度Storm：任务拓扑=有向⽆环图（Spout、Bolt）Spout读取数据（元组）——》Blot。节点：。特点：编程模型简单（Spout，Blot），多语⾔⽀持，作业级容错，⽔平可拓展，快速消息估算。：储存信息，1任务拓扑，任务分配，任务执⾏状态，2从节点状态，⼯作进程状态，⼼跳信息，3集群状态配置信息资源分配，任务调度，状态监控，故障