大数据项目实战-硬核剖析三大运营商电信信号强度诊断项目实战

本项目基于某公司开发的手机测速软件采集的数据对用户的手机网速、上行下行流量，网络制式、信号强度等信息进行宏观分析。根据数据分析，能够计算出用户附近移动、联通、电信、哪家信号更好。或提示用户哪个方向自己使用的运营商信号好。这样用户就能够有选择性的选择信号好的方向、好的位置上网。 同时能够给各家运营商提供有力的参考数据,如同一地标三家运营商信号强度对比，这样信号强度较差的运营商便可以有选择的增加信号设备。

课程亮点：

1、系统的设计方法是采用面向对象的设计。本系统前端页面交互主要采用B/S的结构，采用MVC及流式数据的设计思路进行规划设计。

2、前端数展现使用Echarts技术。与地图相关的报表使用百度地图提供的API。

3、后端实时数据，实时接入mysql。为了不影响线上系统的正常使用，同时能够将数据发送到大数据平台，本项目使用Canal来解析实时数据，Flume收集数据并数据发送到实时计算业务流程和离线计算两个流程中。实时数据处理流程使用Canal+Flume+Kafka+SparkStreaming等技术。离线计算使用HDFS+Hive+Azkaban等技术。

4、设计过程中对系统的可靠性、可扩展性以及性能进行了充分考虑和研究分析，争取通过良好的设计，在实现系统功能的前提下，最大化的提高系统性能和扩展性，减少将来的维护代价和其他成本。

适用人群：

1、对大数据Spark感兴趣的在校生及应届毕业生。

2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。

3、对大数据行业感兴趣的相关人员。

第一章 项目概述

1课程内容

1. 系统介绍

2. 模块介绍

3. 数据流程描述

4. 逻辑架构设计

5. 功能描述

6. 系统架构

第二章  离线数据入库

1. 数据上传

2. 创建数据表

3. 数据拆分

4. 数据表加载

第三章 离线数据整理

1. 业务SQL语句编写

2. 整理SQL语句生成结果表的结构及字段

3. 根据结果表所需的字段，在原始表中抽取该字段

4. 数据加工及入库

5. 创建索引

第四章 实时数据生成及计算

1. Mysql 数据写入

2. canal 解析mysql实时数据写入本地

3. Flume收集数据将数据上传至集群

4. SparkStreaming 实时计算

课程目录：
(1) 001-项目总体阶段介绍.mp4
(2) 002-第一阶段介绍.avi
(3) 003-项目背景介绍.avi
(4) 004-系统功能模块概述.avi
(5) 005-系统功能模块概述总结.avi
(6) 006-后端模块介绍概述总结.avi
(7) 007-数据处理流程.avi
(8) 008-逻辑架构介绍.avi
(9) 009-历史数据介绍-networkqualityinfo .avi
(10) 010-历史数据介绍-app_traffic .avi
(11) 011-历史数据介绍-cell_strength.avi
(12) 012-历史数据介绍-cell_strength.avi
(13) 013-历史数据介绍-device与network.avi
(14) 014-历史数据实例数据.avi
(15) 015-详细需求介绍-首页面.avi
(16) 016-详细需求介绍-信号覆盖.avi
(17) 017-详细需求介绍-网络质量.avi
(18) 018-详细需求介绍-数据连接.avi
(19) 019-详细需求介绍-热门APP.avi
(20) 020-详细需求介绍-热门手机.avi
(21) 021-详细需求介绍-热门手机.mp4
(22) 022-详细需求介绍-个人用户.avi
(23) 023-项目设计策略.avi
(24) 024-技术选型.avi
(25) 025-离线数据入库流程.avi
(26) 026-离线数据计算及总结.avi
(27) 027-实时业务数据采集、数据计算及总结.avi
(28) 028-结果数据创建索引介绍及总结.avi
(29) 029-地标的配置文件及浏览器兼容性.avi
(30) 030-第一阶段总结.avi
(31) 032-创建表及数据入库.avi
(32) 033-创建表及数据入库验证及总结.avi
(33) 034-数据拆分需求及实现思路.avi
(34) 035-数据拆分map代码.avi
(35) 036-数据拆分reduce代码.avi
(36) 037-数据拆分驱动代码.avi
(37) 038-数据拆分效果.avi
(38) 039-数据拆分总结.avi
(39) 040-第二阶段总结.avi
(40) 041-第三阶段概述及步骤.mp4
(41) 042-第三阶段补充.avi
(42) 043-第三阶段目标总结.avi
(43) 044- 实时业务SQL.avi
(44) 045- 实时业务SQL总结.avi
(45) 046- 首页用户分布SQL.avi
(46) 047- 平均上行-下行速率SQL.avi
(47) 048- 热门APP排名SQL.avi
(48) 049- 热门手机流量排名SQL.avi
(49) 050- 报表SQL整理思路介绍.avi
(50) 051- 信号强度覆盖SQL.avi
(51) 052- 剩余6个模块的SQL.avi
(52) 053- 相同结果比表SQL整理.avi
(53) 054- 相同结果比表SQL拆分.avi
(54) 055- 结果表字段提取（确定）.avi
(55) 056- 结果表字段补充.avi
(56) 057-结果表NWQuality特殊字段的逻辑.avi
(57) 058-结果表Signal_Strength特殊字段的逻辑.avi
(58) 059-结果表app_traffic特殊字段的逻辑.avi
(59) 060-结果表DataConnection特殊字段的逻辑.avi
(60) 061-特殊字段逻辑总结.mp4
(61) 062-创建自定义逻辑工程.avi
(62) 063-处理逻辑1-2及创建自定义逻辑主类.avi
(63) 064-处理逻辑3-信号强度转化代码.avi
(64) 065-处理逻辑3-信号强度转化代码运行效果.avi
(65) 066-处理逻辑4-networktype转化需求整理.avi
(66) 067-处理逻辑4-networktype转化代码1.avi
(67) 068-处理逻辑4-networktype转化代码2.avi
(68) 069-处理逻辑4-networktype转化效果及总结.avi
(69) 070-处理逻辑5-lanmark转化需求及代码.avi
(70) 071-处理逻辑5-补充.avi
(71) 072-处理逻辑6-厂商型号拼接.avi
(72) 073-处理逻辑7-os version拼接.avi
(73) 074-处理逻辑8-包名是否为all.avi
(74) 075-NWQuality提取数据SQL编写.avi
(75) 076-NWQuality提取数据SQL运行效果.avi
(76) 077-NWQuality提取数据总结.avi
(77) 078-Signal_Strength提取数据SQL编写.avi
(78) 079-Signal_Strength提取数据效果及总结.avi
(79) 080-app_traffic-data_connection提取数据效果.avi
(80) 081-tb_counts提取数据.mp4
(81) 082-结果表数据加工.avi
(82) 083-phoenix介绍及安装.avi
(83) 084-phoenix介绍及安装总结.avi
(84) 085-phoenix使用方式.avi
(85) 086-phoenix索引类型.avi
(86) 087-phoenix测试索引准备数据.avi
(87) 088-phoenix测试索引结论.avi
(88) 089-创建结果表.avi
(89) 090-业务类型整理.avi
(90) 090-结果表加载数据.avi
(91) 091-项目运行.avi
(92) 092-项目代码结构介绍.avi
(93) 093-NWQuality创建索引1.avi
(94) 094-NWQuality创建索引2.avi
(95) 095-NWQuality创建索引效果及总结.avi
(96) 096-Signal_Strength创建索引.avi
(97) 097-DataConnection-APP_TRAFFIC创建索引.avi
(98) 098-验证索引生效.avi
(99) 099-报表类型总结.avi
(100) 100-echarts柱状图饼状图介绍.avi
(101) 101-热力图代码介绍.mp4
(102) 102-瓷砖图代码介绍.avi
(103) 103-街景图思路介绍.avi
(104) 104-散点图介绍.avi
(105) 105-第三阶段总结1-2步.avi
(106) 106-第三阶段总结3-4步.avi
(107) 107-第三阶段总结5步.avi
(108) 108-第三阶段总结-界面类型.avi
(109) 109-第四阶段介绍.avi
(110) 110-第四阶段介绍总结.avi
(111) 111-开启mysqlbinlog-创建数据库及表.avi
(112) 112-生成系统插入数据.avi
(113) 113-生成系统插入数据2.avi
(114) 114-canal安装部署.avi
(115) 115-canal解析代码上.avi
(116) 116-canal解析代码下.avi
(117) 117-canal代码运行效果.avi
(118) 118-Flume数据收集1.avi
(119) 119-Flume数据收集2.avi
(120) 120-Flume收集数据验证（历史数据收集成功）.avi
(121) 121-Flume收集数据验证（实时数据收集成功）.mp4
(122) 122-实时计算流程介绍及创建项目.avi
(123) 123-实时计算代码.avi
(124) 124-实时计算动态效果.avi
(125) 125-实时业务-数据成产收集总结.avi
(126) 126-实时业务-数据计算总结.avi
(2)\资料；目录中文件数:1个
(127) 电信号资料.zip

课程视频截图：