Hba se+Spring boot实战分布式文件存储
教程名称:
xa0 xa0 xa0 xa0xa0Hbase+Spring boot实战分布式文件存储
教程内容:
xa0 xa0 熟悉boot就可以入手这门课,如果熟悉Linux基本命令 ,稍微了解些了解Hadoop 会更好,对hdfs不了解也关系不大。我们都知道hdfs有一个数据块(block)的概念。而数据块一般都设置为128m。 hdfs本身其实是不适合存储小文件的。因为小文件也会独占一个数据块。对namenode的内存造成浪费。我们日常应用的数据比如一些文本,图片等等非结构化的数据的存储和管理应该怎么去做呢?或者说我们如何提供一个对象存储服务。对象存储服务我们也有一直在用。我们的重点呢还是在于hbase可以做这个事情。我们要学习hbase,要用hbase来做这个事情。 项目的功能范围到在其次。在课程中有讲到协处理器,并进行开发实战。在实际项目中,一般我们会通过自己在另外的数据库比如MySQL或者是搜索引擎比如elasticsearch或者solr进行实现。Ad Hoc是非定制化,用户可以根据自己需求自定义执行的查询。HBase是可以支持这部分工作的。但是hbase本身对于多个条件的查询支持不好。 本门课程还提到了Phoenix,可以通过SQL的方式去操作hbase,那么即席查询就更不在话下了。 springboot是我们常用的一个web框架,我们可以将两者结合使用,同理我们也可以用其他web框架甚至其他语言。
教程目录:
1.课程简介
课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览
2.HBase简介与环境部署
介绍HBase是什么,能做什么,有哪些优缺点,适用于哪些应用场景,与常用关系数据库有什么不同。并配置安装Hadoop伪分布式集群,HBase伪分布式集群。为后面章节实战测试提供环境支持。
3.HBase原理与实战
介绍HBase基础原理,以读写流程为引,结合前面集群部署所展现的HBase三大模块,讲解HBase各个模块之间的协作,帮助我们了解HBase的运行机制。并对HBase进行实战操作,讲解基本的shell命令及JAVA api。重点讲解如何通过过滤器筛选数据...
4.HBase进阶
讲解HBase的高级特性,常用的优化策略,协处理器等,并实战开发协处理器,将开发的协处理器加载到HBase测试环境,验证其功能
5.容灾与监控
HBase容灾策略的简要介绍,配合命令演示如何对数据进行备份和恢复。简要介绍HBase的监控重要性以及常用的监控方式。实战开发通过jmx获取HBase运行时数据,监控集群状态
HBase相关工具的介绍和使用,重点讲解Phoenix和Sqoop。并对两者进行实战操作。
7.需求分析与技术选型
对象存储服务项目的需求分析及技术选型
8.功能梳理与方案设计
对象存储服务功能点梳理以及实现方案的设计,讨论两种设计方案的优缺点,进行正式开发前期准备工作。
9.子模块-数据库操作模块
hos服务基础数据库选用mysql,实现基于Mybatis的对mysql数据库的操作模块
10.子模块-用户管理模块
Hos服务用户管理模块开发,包含对用户的增删改查操作
11.子模块-权限管理模块
Hos服务权限管理模块开发,包含对Token的增删该查以及授权操作
12.子模块-文件管理模块
Hos服务核心模块 文件管理模块开发,包含Bucket的增删改查以及对设计方案一中 HBase相关的操作。
13.子模块-接口模块
Hos服务接口模块的开发,完成登录认证,权限验证以及各个功能的restful API
14.子模块-SDK模块
Hos服务SDK模块开发及测试
15.课程总结
对整个课程的所用到的理论,技术做一个简单的回顾总结,提出优化的空间
相关资源