年薪40万（深入大数据架构师之路）

教程名称：

xa0 xa0 xa0 xa0xa0年薪40万（深入大数据架构师之路）

教程内容：

每个成熟的数据从业者都能够灵活的运用数据寻找获取安装Debug。数据库也是另外一个比较重要的部分可以说是一个非常核心的技能了。是否具备code的能力是数据分析的一个分水岭，senior的数据分析师会至少精通一种数据分析语言，并且如果想做数据挖掘，网络爬虫，交互可视化等等都是需要一定的代码处理和理解能力的。这里主要说Python和R，两者在数据分析领域可以说是各有千秋。随着大数据时代的到来，大数据也成为国家战略得到大力的推广，大数据项目在各行各业遍地开花，大数据深入人心，从事一份大数据工作变得人人艳羡，成为数据科学家更成为众多学生和职业者的梦想。这不仅仅是因为数据科学家的薪资比其他行业的薪资要高得多，更是因为数据科学家是一份非常有趣有意义的工作，是一份不像程序员一样吃青春饭的工作，其经验的积累，像医生一样越老越吃香！把数据科学家称作21世纪最性感的职业，一点不为过。

教程目录：

1.课程体系介绍

2.Hadoop精讲之map reduce原理及代码演示

3.hadoop精讲之hdfs详解(1)

4.hadoop精讲之hdfs(2)

5.hadoop产品选型

6.实战.基于hadoop streaming的wordcount

7.实战.topn的实现原理和实战

8.实战.join的实现原理和实战

9.实战.对join实现的改进——优化reducer

10.hive概述

11.hive必须要会的操作演示

12.分区表和动态分区的使用

13.函数概述和udf演示

14.UDF实战：实现udf

15.UDAF实战：实现udaf

16.数据说明和重要操作演示

17.用户内容偏好实战

18.什么是SCD以及技术难点

19.如何在hive中实现sequence功能

20.数据仓库实战：在hive中实现 scd2的完整案例实战

21.数据仓库实战：在hive中实现事实表

22.presto是什么.presto的架构

23.presto运行机制和配置文件详解

24.presto on hive 实战.实现数据仓库的Scd2和fact

25.kafka架构深度剖析_1

26.kafka架构深度剖析_2

27.架构师装逼必备--CAP理论以及在架构设计中的应用

28.kafka数据复制高可用的原理

29.kafka数据复制演示

30.选学--深入解释leader和follower数据同步机制

31.kafka数据一致性参数详解

32.数据一致性的实战

33.配置zookeeper集群并验证

34.配置kafka集群并验证两个集群正常工作

35.修改kafka在zookeeper上的配置目录以及consumer的使用方式

36.kafka consumer 剖析

37.kafka consumer代码实战

38.kafka consumer balance 实战

39.实现轮询的producer

40.hbase概述和web界面

41.hbase架构详解.1

42.客户端数据读写流程以及zookeeper的作用

43.hbase架构详解.2

44.hbase高可用能力

45.hbase data model详解

46.数据操作实战.hbase工具功能

47.column family的进阶设置实战

48.二级索引技术解密

49.电商应用的二级索引设计实战

50.项目背景概述

51.第一版设计及问题分析

52.第二版设计及问题分析

53.第三版设计及问题分析

54.最终设计方案ddi

55.hive on hbase概述

56.hive on hbase实战.把产品成本表加载到hbase

57.phoenix及对比hive on hbase

58.phoenix实战.1.通过view映射hbase中的用户表并分析其特点

59.phoenix实战.2.通过table映射hbase中的用户表并分析其特点

60.phoenix实战.3.通过table映射hbase中的用户表并体会其特点

61.项目实战

62.hbase事务机制概述

63.hbase事务之mvcc详解以及和sql数据库的对比

64.hbase物理存储原理解析

65.和hbase存储机制有关的一个大坑

66.禁用掉自动split后如何维护

67.python_hbase开发实战

68.python_phoenix开发实战

69.项目实战.python_hbase_phoenix_用户行为分析

70.kylin概述和工作原理

71.数据仓库核心概念

72.cub的设计和构建过程

73.实时cube的设计和构建

74.案例实战

75.和传统bi工具的结合

76.运维管理

77.elk技术栈介绍

78.安装配置zookeeper

79.安装配置kafka

80.验证kafka安装成功

81.安装配置filebeat

82.验证filebeat配置成功

83.配置logstash

84.安装配置elasticsearch

85.安装配置kibina

86.安装ik索引做中文分词

87.几个辅助工具的安装演示

88.通过restapi操作Elasticsearch的演示

89.elasticsearch基本概念(index,type,setting,mapping)

90.深入解析mapping.字段类型

91.深入解析analyzer

92.索引机制详解

93.几个高级参数介绍--all、source、store、doc_values

94.动态映射

95.字段的动态mapping

96.字段的动态mapping之dynamic_template

97.index template详解

98.索引模版和索引别名

99.最简单的logstash演示

100.实战2.多个输出目标

101.实战3.解析日志内容

102.实战4.解析json格式日志

103.实战5.如何把@timestamp修复成本地时间

104.实战6.把logstash收集的数据保存到hdfs

105.实战7.如何用access_time替代@timestamp

106.实战8.利用插件获取更多的信息

107.查询语法总结

108.match搜索

109.range搜索

110.term搜索

111.terms进阶用法-关联查询

112.exists和not exists

113.bool查询

114.filter查询

115.聚合功能概述以及度量函数说明

116.聚合功能概述值度量函数的使用演示

117.聚合功能概述之分组聚合函数说明

118.聚合功能之分组函数实战之terms实战

119.聚合功能之分组函数实战之histgram和range

120.聚合同能之分组函数实战之data_histgram

121.聚合功能之分组函数实战之filter and filters

122.terms分组统计 vs query中的term terms

123.向桶中添加统计指标

124.桶中桶和联机OLAP