驴妈妈旅游网站大数据项目实战

【课程内容】



第1章 大数据基本技能储备



项目介绍

hadoop介绍

SSH免密码登录

JAVA安装

Hadoop安装及验证

shell命令相关配置信息

httpfs相关命令

集群启动相关命令介绍

集群启动相关命令操作

hdfs相关命令

其他HadoopShell命令

HDFS结构介绍

windows开发环境搭建

HdfsJavaApi介绍

MapReduce介绍

Wordcount实现

Wordcount运行介绍以及异常解决

倒排索引实现

InputFormat和OutputFormat介绍

自定义InputFormat实现

自定义OutputFormat实现

案例演示

shuffle阶段介绍

自定义group+partitioner实现

案例damo编写

HBase结构介绍

HBase安装

hbase命令概述及帮助命令使用方式介绍

命名空间相关命令介绍

HBase Shell常用命令介绍

Scan命令详解

其他shell命令介绍

Java客户端概述以及Java开发Hbase基本环境搭建

HBaseAdmin类详细介绍

Put类详细介绍

Get和Delete类详细介绍

Scan类和Hbase连接池详细介绍

环境搭建

案例介绍

案例Mapper及Reducer类编写

案例执行入口代码编写及异常解决

Hive介绍

MYSQL安装

Hive安装

hive服务介绍

Database相关命令介绍

Hive表类型及创建命令格式介绍

Hive表创建案例介绍

Hive&Hbase关联介绍

导入数据命令介绍

select语句介绍

join介绍

子查询介绍

导出数据和其他命令介绍

Hive函数介绍

UDF自定义函数实现

UDAF自定义函数实现

UDTF自定义函数实现

Hive自定义函数jar集成方式介绍

Nginx介绍

Flume结构介绍

Flume安装

Flume简单案例实现

Nginx+Flume+Hdfs日志收集案例实现

Sqoop介绍和安装

Sqoop基本命令介绍

Import命令介绍

Export命令介绍

Oozie介绍

Tomcat安装

Oozie安装

Oozie Workflow工作流介绍

Oozie Workflow编写规则和自定义介绍

Workflow案例

Oozie Coordinator和Bundle介绍

Highcharts介绍

案例介绍

基本介绍

环境搭建

案例测试

数据展示框架介绍



第2章 项目需求介绍



bf_track项目总体介绍

JavaSDK需求分析介绍

JsSDK需求分析介绍

bf_dataapi项目总体介绍

bf_dataapi页面展示介绍

bfdataapi的restapi和bftransformer项目结构介绍

数据存储结构介绍



第3章 用户行为数据收集模块实现讲解



SDK Engine入口类编写

SDK Monitor数据发送类编写

JavaSDK测试

JsSDK CookieUtil对象编写

JsSDK tracker对象编写

JsSDK测试



第4章 数据分析模块讲解



UserAgent解析

IP解析

EventLogConstants类编写

LoggerUtil日志解析工具类编写

AnalyserLogDataMapper类编写

AnalyserLogDataRunner类编写

测试

BrowserDimension类编写

DateDimension类编写

PlatformDimension类编写

DimensionConverter类编写

TransformerOutputFormat类编写

新增用户统计mr程序输出类编写

NewInstallUserMapper类编写

NewInstallUserRudecer类编写

NewInstallUserRunner类编写

NewInstallUser代码测试

TotalInstallUser统计代码编写

ActiveUserMapper类编写

ActiveUserReducer类编写

ActiveUserRunner类编写

Collector输出类编写及测试

活跃会员分析

MemberUtil类编写

NewMemberMapper类编写

NewMemberReducer类和Runner类编写

测试

SessionMapper类编写

SessionsReducer类编写

SessionsRunner类编写以及测试

HourlyActiveUser分析

HourlySession相关分析

Mapper编写

Reducer和Runner编写

测试

Mapper公用代码提取

Runner公用代码提取

统计规则介绍

LocationDimension类编写