Spark与Spark Streaming核心架构系统实践课程 Spark Streaming实时流处理项目实战


Spark与Spark Streaming核心架构系统实践课程 Spark Streaming实时流处理项目实战


Spark Streaming是Spark core API的扩展,支持实时数据流的处理,并且具有可扩展,高吞吐量,容错的特点。

Spark Streaming用于处理流式计算问题,能够和Spark的其他模块无缝集成。

Spark Streaming接收实时输入数据流并将数据分成批,然后由Spark引擎处理,以批量生成最终结果流。

这套课程直接从项目开始讲起,不适合零基础学习的同学,但是对需要深入学习Spark的同学来说是不可多得的好课程!

(0)配套资料;

├─(1) Linux.rar

├─(2) project.zip

(1)第10章 Spark Streaming整合Kafka;目录中文件数:10个

├─(3) 10-1 -课程目录.mp4

├─(4) 10-10 -Direct方式整合之服务器环境联调.mp4

├─(5) 10-2 -Spark Streaming整合Kafka的版本选择详解.mp4

├─(6) 10-3 -Receiver方式整合之概述.mp4

├─(7) 10-4 -Receiver方式整合之Kafka测试.mp4

├─(8) 10-5 -Receiver方式整合之Spark Streaming应用开发.mp4

├─(9) 10-6 -Receiver方式整合之本地环境联调.mp4

├─(10) 10-7 -Receiver方式整合之服务器环境联调及Streaming UI讲解.mp4

├─(11) 10-8 -Direct方式整合之概述.mp4

├─(12) 10-9 -Direct方式整合之Spark Streaming应用开发及本地环境测试.mp4

(2)第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础;目录中文件数:7个

├─(13) 11-1 -课程目录.mp4

├─(14) 11-2 -处理流程画图剖析.mp4

├─(15) 11-3 -日志产生器开发并结合log4j完成日志的输出.mp4

├─(16) 11-4 -使用Flume采集Log4j产生的日志.mp4

├─(17) 11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka.mp4

├─(18) 11-6 -Spark Streaming消费Kafka的数据进行统计.mp4

├─(19) 11-7 -本地测试和生产环境使用的拓展.mp4

(3)第12章 Spark Streaming项目实战;目录中文件数:20个

├─(20) 12-1 -课程目录.mp4

├─(21) 12-10 -对接实时日志数据到Kafka并输出到控制台测试.mp4

├─(22) 12-11 -Spark Streaming对接Kafka的数据进行消费.mp4

├─(23) 12-12 -使用Spark Streaming完成数据清洗操作.mp4

├─(24) 12-13 -功能一之需求分析及存储结果技术选型分析.mp4

├─(25) 12-14 -功能一之数据库访问DAO层方法定义.mp4

├─(26) 12-15 -功能一之数据库访问DAO层方法实现.mp4

├─(27) 12-16 -功能一之HBase操作工具类开发.mp4

├─(28) 12-17 -功能一之将Spark Streaming的处理结果写入到HBase中.mp4

├─(29) 12-18 -功能二之需求分析及HBase设计&HBase数据访问层开发.mp4

├─(30) 12-19 -功能二之功能实现及本地测试.mp4

├─(31) 12-2 -需求说明.mp4

├─(32) 12-20 -将项目运行在服务器环境中.mp4

├─(33) 12-3 -用户行为日志介绍.mp4

├─(34) 12-4 -Python日志产生器开发之产生访问url和ip信息.mp4

├─(35) 12-5 -Python日志产生器开发之产生referer和状态码信息.mp4

├─(36) 12-6 -Python日志产生器开发之产生日志访问时间.mp4

├─(37) 12-7 -Python日志产生器服务器测试并将日志写入到文件中.mp4

├─(38) 12-8 -通过定时调度工具每一分钟产生一批数据.mp4

├─(39) 12-9 -使用Flume实时收集日志信息.mp4

(4)第13章 可视化实战;目录中文件数:14个

├─(40) 13-1 -课程目录.mp4

├─(41) 13-10 -实战课程访问量Web层开发.mp4

├─(42) 13-11 -实战课程访问量实时查询展示功能实现及扩展.mp4

├─(43) 13-12 -Spring Boot项目部署到服务器上运行.mp4

├─(44) 13-13 -阿里云DataV数据可视化介绍.mp4

├─(45) 13-14 -DataV展示统计结果功能实现.mp4

├─(46) 13-2 -为什么需要可视化.mp4

├─(47) 13-3 -构建Spring Boot项目.mp4

├─(48) 13-4 -Echarts概述.mp4

├─(49) 13-5 -Spring Boot整合Echarts绘制静态数据柱状图.mp4

├─(50) 13-6 -Spring Boot整合Echarts绘制静态数据饼图.mp4

├─(51) 13-7 -项目目录调整.mp4

├─(52) 13-8 -根据天来获取HBase表中的实战课程访问次数.mp4

├─(53) 13-9 -实战课程访问量domain以及dao开发.mp4

(5)第14章 Java拓展;目录中文件数:3个

├─(54) 14-1 -课程目录.mp4

├─(55) 14-2 -使用Java开发Spark应用程序.mp4

├─(56) 14-3 -使用Java开发Spark Streaming应用程序.mp4

(6)第1章 课程介绍;目录中文件数:5个

├─(57) 1-1 -导学-.mp4

├─(58) 1-2 -授课习惯和学习建议.mp4

├─(59) 1-3 -OOTB环境使用演示.mp4

├─(60) 1-4 -Linux环境及软件版本介绍.mp4

├─(61) 1-5 -Spark版本升级.mp4

(7)第2章 初识实时流处理;目录中文件数:8个

├─(62) 2-1 -课程目录.mp4

├─(63) 2-2 -业务现状分析.mp4

├─(64) 2-3 -实时流处理产生背景.mp4

├─(65) 2-4 -实时流处理概述.mp4

├─(66) 2-5 -离线计算和实时计算对比.mp4

├─(67) 2-6 -实时流处理框架对比.mp4

├─(68) 2-7 -实时流处理架构及技术选型.mp4

├─(69) 2-8 -实时流处理在企业中的应用.mp4

(8)第3章 分布式日志收集框架Flume;目录中文件数:8个

├─(70) 3-1 -课程目录.mp4

├─(71) 3-2 -业务现状分析.mp4

├─(72) 3-3 -Flume概述.mp4

├─(73) 3-4 -Flume架构及核心组件.mp4

├─(74) 3-5 -Flume&JDK环境部署.mp4

├─(75) 3-6 -Flume实战案例一.mp4

├─(76) 3-7 -Flume实战案例二.mp4

├─(77) 3-8 -Flume实战案例三(重点掌握).mp4

(9)第4章 分布式发布订阅消息系统Kafka;目录中文件数:11个

├─(78) 4-1 -课程目录.mp4

├─(79) 4-10 -Kafka Consumer Java API编程.mp4

├─(80) 4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集.mp4

├─(81) 4-2 -Kafka概述.mp4

├─(82) 4-3 -Kafka架构及核心概念.mp4

├─(83) 4-4 -Kafka单节点单Broker部署之Zookeeper安装.mp4

├─(84) 4-5 -Kafka单节点单broker的部署及使用.mp4

├─(85) 4-6 -Kafka单节点多broker部署及使用.mp4

├─(86) 4-7 -Kafka容错性测试.mp4

├─(87) 4-8 -使用IDEA+Maven构建开发环境.mp4

├─(88) 4-9 -Kafka Producer Java API编程.mp4

(10)第5章 实战环境搭建;目录中文件数:7个

├─(89) 5-1 -课程目录.mp4

├─(90) 5-2 -Scala安装.mp4

├─(91) 5-3 -Maven安装.mp4

├─(92) 5-4 -Hadoop环境搭建.mp4

├─(93) 5-5 -HBase安装.mp4

├─(94) 5-6 -Spark环境搭建.mp4

├─(95) 5-7 -开发环境搭建.mp4

(11)第6章 Spark Streaming入门;目录中文件数:8个

├─(96) 6-1 -课程目录.mp4

├─(97) 6-2 -Spark Streaming概述.mp4

├─(98) 6-3 -Spark Streaming应用场景.mp4

├─(99) 6-4 -Spark Streaming集成Spark生态系统的使用.mp4

├─(100) 6-5 -Spark Streaming发展史.mp4

├─(101) 6-6 -从词频统计功能着手入门Spark Streaming.mp4

├─(102) 6-7 -Spark Streaming工作原理(粗粒度).mp4

├─(103) 6-8 -Spark Streaming工作原理(细粒度).mp4

(12)第7章 Spark Streaming核心概念与编程;目录中文件数:7个

├─(104) 7-1 -课程目录.mp4

├─(105) 7-2 -核心概念之StreamingContext.mp4

├─(106) 7-3 -核心概念之DStream.mp4

├─(107) 7-4 -核心概念之Input DStreams和Receivers.mp4

├─(108) 7-5 -核心概念之Transformation和Output Operations.mp4

├─(109) 7-6 -案例实战之Spark Streaming处理socket数据.mp4

├─(110) 7-7 -案例实战之Spark Streaming处理文件系统数据.mp4

(13)第8章 Spark Streaming进阶与案例实战;目录中文件数:6个

├─(111) 8-1 -课程目录.mp4

├─(112) 8-2 -实战之updateStateByKey算子的使用.mp4

├─(113) 8-3 -实战之将统计结果写入到MySQL数据库中.mp4

├─(114) 8-4 -实战之窗口函数的使用.mp4

├─(115) 8-5 -实战之黑名单过滤.mp4

├─(116) 8-6 -实战之Spark Streaming整合Spark SQL操作.mp4

(14)第9章 Spark Streaming整合Flume;目录中文件数:11个

├─(117) 9-1 -课程目录.mp4

├─(118) 9-10 -Pull方式整合之本地环境联调.mp4

├─(119) 9-11 -Pull方式整合之服务器环境联调.mp4

├─(120) 9-2 -Push方式整合之概述.mp4

├─(121) 9-3 -Push方式整合之Flume Agent配置开发.mp4

├─(122) 9-4 -Push方式整合之Spark Streaming应用开发.mp4

├─(123) 9-5 -Push方式整合之本地环境联调.mp4

├─(124) 9-6 -Push方式整合之服务器环境联调.mp4

├─(125) 9-7 -Pull方式整合之概述.mp4

├─(126) 9-8 -Pull方式整合之Flume Agent配置开发.mp4

├─(127) 9-9 -Pull方式整合之Spark Streaming应用开发.mp4

立 即 下 载

相关资源

发表评论

点 击 提 交