大数据老汤微职位CTO-资深大数据技术架构师主讲

微职位：Linux基础知识



1-1课程内容

2-1虚拟机安装(windows)

2-2虚拟机网络配置

2-3xshell连接虚拟机

2-4虚拟机安装(Mac)

2-5Linux文件系统简介

3-1文件目录操作命令

3-2文件目录管理命令

3-3文件内容修改命令

3-4文件内容查看命令

3-5文件大小查看命令

3-6文件压缩打包命令

3-7grep命令

4-1用户与用户组概念 

4-2文件权限的讲解

4-3chgrp和chown讲解

4-4chmod讲解

4-5权限实战

4-6su和sudo讲解

5-10date命令

5-11往文件中追加内容

5-12crontab命令

5-1认识bash shell

5-2bash shell的变量

5-3bash shell操作环境

5-4alias history clear

5-5第一个bash脚本 

5-6脚本参数

5-7test命令

5-8条件判断结构

5-9循环控制结构

6-1克隆3台虚拟机

6-2修改主机名

6-3配置无密钥登录

6-4使用filezilla上传文件

6-5java的JDK的安装

6-6java相关命令的讲解

6-7虚拟机关闭防火墙

6-8三台虚拟机通过ntp同步时间



微职位：大数据技术入门



1-1课程内容

1-2Java开发环境的安装(Windows)

1-3IDEA导入已经存在的maven项目(windows)

1-4jar包依赖管理说明

1-5使用java命令启动JVM

1-6RPC

1-7分布式存储的原理

1-8HDFS安装前的准备

1-9HDFS的安装(一)

1-10WebUI看不了怎么办

1-11HDFS的安装(二)

1-12HDFS安装后的额外强调

1-13HDFS Web UI讲解

1-14HDFS常用操作命令

1-15HDFS文件恢复机制

1-16Http方式访问HDFS

1-17HDFS各组件作用

1-18HDFS中的数据块

1-19写HDFS文件实战与原理讲解

1-20读HDFS文件实战与原理讲解

1-21Java基本操作HDFS API

1-22Java开发HDFS应用的时候需要注意的点

1-23DataNode心跳机制的作用

1-24NameNode中的EditsLog和FSimage机制

1-25SecondaryNameNode帮助NameNode减负

1-26Federation配置

1-27ViewFS的配置

1-28回退到一个NameNode的状态

1-30告诉你怎么使用Snapshots

1-31平衡数据

1-32SafeMode

2-1课程内容

2-2为什么需要Zookeeper

2-3单机安装zookeeper

2-4使用命令行操作zookeeper

2-5使用ZooInspector操作zk

2-6数据模型

2-7安装分布式zookeeper

2-8分布式zookeeper的特点

2-9Java创建zookeeper会话

2-10Java创建zk节点

2-11Java设置和删除zk节点

2-12ZNode的watcher机制

2-13ZNode的ACL机制

2-14使用curator客户端操作zk

2-15zk使用之配置管理实战

2-16zk使用之分布式锁实战

2-17zk使用之Master选举实战

2-18HDFS HA集群规划

2-19使用zk来实现HDFS HA的实操

2-20NameNode恢复到非HA的状态

3-1课程内容

3-2Yarn是用来做什么的

3-3Yarn的安装

3-4分布式计算的特点

3-5MapReduce安装

3-6hadoop序列化机制

3-7实现并运行第一个MapReduce job

3-8block与map的input split的关系

3-9MapReduce在Yarn上运行的原理

3-10MR内存cpu资源配置

3-11MR中的Combiner

3-12实现并运行WordCount

3-13shuffle & sort