课程地址

概述

三次信息化浪潮

技术支撑：

存储设备容量不断增加、CPU处理能力大幅提升、网络带宽不断增加

数据生产方式的变革

大数据发展的三个阶段
image.png

4V

大量化、快速化、多样化、价值化（价值密度低）

影响

在思维方式方面，大数据完全颠覆了传统的思维方式，全样而非抽样、效率而非精确、相关而非因果

两大核心技术

分布式存储、分布式处理
image.png

与云计算、物联网概念的区别

image.png

Hadoop

特性

image.png

image.png

架构和组件

image.png

image.png

HDFS

image.png

块

image.png

主要组件

image.png

NameNode

image.png

多副本冗余数据

image.png

三副本数据的存放策略

image.png

SecondaryName的冷备份作用

image.png

数据读取过程

image.png

数据写入过程

image.png

Hbase

image.png

为什么需要HBase

image.png

Hbase与传统关系数据库的区别

image.png
image.png

数据模型

image.png

主要组件

image.png

三层结构和Region的定位

image.png
image.png

系统架构

image.png

Region服务器原理

image.png

数据写入过程

image.png

缓存刷新

image.png

store的合并与分裂

image.png

HLog的作用

image.png
image.png

二级索引构建

Hindex方式
image.png
Redis+Hbase方式
image.png
Hbase+Solr方式
image.png

NOSQL数据库

image.png

兴起原因

image.png

与关系数据库的对比

image.png
image.png
image.png

image.png

四大类型数据库

image.png

image.png

image.png

image.png

image.png

理论基础

CAP
image.png
image.png

BASE
image.png
image.png

image.png

Hive

image.png

image.png

image.png

image.png

Spark

image.png

image.png

image.png

image.png