EasyHadoop实战手册 让你的Hadoop应用飞起来

EasyHadoop集群部署入门



1. 文档概述



2. 背景



3. 名词解释



4. 服务器结构

#Hadoop试验集群的部署结构

#系统和组建的依赖关系

#生产环境的部署结构



5. Red hat Linux基础环境搭建

#linux 安装 (vm虚拟机)

#配置机器时间同步

#配置机器网络环境

#配置集群hosts列表

#下载并安装 JAVA JDK系统软件

#生成登陆密钥

#创建用户账号和Hadoop部署目录和数据目录

#检查基础环境



6. Hadoop 单机系统 安装配置

#Hadoop 文件下载和解压

#配置 hadoop-env.sh 环境变量

#Hadoop Common组件 配置 core-site.xml

#HDFS NameNode,DataNode组建配置 hdfs-site.xml

#配置MapReduce - JobTracker TaskTracker 启动配置

#Hadoop单机系统,启动执行和异常检查

#通过界面查看集群部署部署成功

#通过执行 Hadoop pi 运行样例检查集群是否成功

#安装部署 常见错误



7. Hadoop 集群系统 配置安装配置

#检查node节点linux 基础环境是否正常,参考 [ linux 基础环境搭建]一节。

#配置从master 机器到 node 节点无密钥登陆

#检查master到每个node节点在hadoop用户下使用密钥登陆是否正常

#配置master 集群服务器地址 stop-all.sh start-all.sh 的时候调用

#通过界面查看集群部署部署成功

#通过执行 Hadoop pi 运行样例检查集群是否成功



8. 自动化安装脚本

#master 服务器自动安装脚本



Hive仓库集群部署入门



1. 名词解释



2. Hive的作用和原理说明

#数据仓库结构图

#Hive仓库流程图

#hive内部结构图



3. Hive 部署和安装

#安装Hadoop集群,看EasyHadoop安装文档。

#安装Mysql,启动Mysql,检查gc++包。

#解压Hive包并配置JDBC连接地址。

#启动Hive thrift Server。

#启动内置的Hive UI。



4. Hive Cli 的基本用法

#登陆查询

#查询文件方式

#命令行模式



5. HQL基本语法 (创建表,加载表,分析查询,删除表)

#创建表



6. 使用Mysql构建简单数据集市

#Mysql的两种引擎介绍

#创建一个数据表使用Hive cli 进行数据分析

#使用shell 编写Hsql 并使用HiveCli导出数据,使用Mysql命令加载到数据库中。

#使用crontab 新增每日运行任务定时器



7. 使用FineReport 数据展现数据

#安装FineReport,使用注册码!

#使用FineReport,快速展现数据报表。

#FineReport 的问题和局限