中国商飞大数据培训,数据采集、数据处理和数据建模培训
近期,中科信软针对客户的实际大数据培训需求,给中国商飞提供了高质量的大数据培训,培训效果获得了客户的高度认可。
客户培训背景情况
专业从事数据处理、数据架构和数据分析与开发的相关人员
学员基础
对基于大数据平台的数据采集、数据处理和数学建模知识了解不多;在实际工作中数据采集与数据处理能力有待提升。
本次培训主要目标
一.有明确培训目标
1、通过基于大(da)数据(ju)平台(tai)的(de)数据(ju)采(cai)集(ji)和数据(ju)处理学习,提升相(xiang)关人员的(de)技术(shu)能力,为数据(ju)平台(tai)的(de)建设做(zuo)准备。
2、学习数学建模的基础知识,为相关人员(yuan)提(ti)供知识储备。
培训重点内容
1.学习基于大数(shu)(shu)据(ju)平(ping)台(tai)的数(shu)(shu)据(ju)采集、数(shu)(shu)据(ju)处理和数(shu)(shu)据(ju)建模(mo)基础知识。
2.学(xue)习基于(yu)大数(shu)(shu)据(ju)平台(tai)的数(shu)(shu)据(ju)采(cai)集(ji)、数(shu)(shu)据(ju)处理各类方(fang)法以及实(shi)际工作中常用的数(shu)(shu)据(ju)处理技(ji)巧、案例等。
3.学(xue)习(xi)数(shu)学(xue)建(jian)模在业务工作(zuo)中(zhong)的整个操作(zuo)流程、常用的相关模型以及(ji)经典(dian)案例等。
|
主题
|
内容
|
|
大(da)数(shu)据发展历程及主(zhu)流技(ji)术栈构成
|
1. 为什么会出(chu)现大(da)数(shu)据,大(da)数(shu)据的演进过(guo)程是怎么样的
2. 商业智(zhi)能BI、数据仓库DW、数据湖DL、数据中台(tai)的原(yuan)理、区别和(he)核心职能
3. 支撑(cheng)大数据平(ping)台的(de)主流框架技术介绍:Spark、Flink、HDFS、HBase、Hive、Kylin、Presto、Kafka、ClickHouse 等
|
|
整体大数据平台(tai)核心板块构(gou)成及架构(gou)设计
|
1. 整体大数据处理链路(lu)介绍(shao)及每个环节的技术(shu)选型方案
2. 五(wu)大核心板块介绍:数(shu)据接(jie)入处理(li)(收(shou)集、接(jie)收(shou)、解(jie)析、标准化 等)、数(shu)据治理(li)与管理(li)(安全脱(tuo)敏、ID-Mapping血(xue)缘图谱、主体式数(shu)据仓库 等)、数(shu)据消费(fei)提取(qu)(批量(liang)、实时、T+1、API 等(deng))、数据(ju)(ju)链路跟踪(数据(ju)(ju)回溯、中间(jian)状态追(zhui)踪、数据(ju)(ju)服务保障 等(deng))、数据(ju)(ju)工具支撑(可视化建模、任务调度、数据(ju)(ju)搬迁 等(deng))
3. 整体大数据架(jia)(jia)(jia)构(gou)(gou)(gou)设计介绍:技术架(jia)(jia)(jia)构(gou)(gou)(gou)、存储与计算(suan)(suan)架(jia)(jia)(jia)构(gou)(gou)(gou)、部署架(jia)(jia)(jia)构(gou)(gou)(gou)、容灾架(jia)(jia)(jia)构(gou)(gou)(gou),实(shi)时流计算(suan)(suan),离线存储的核心本质(zhi),如(ru)何监(jian)测实(shi)时流处理过程中的问题回溯
4. HDFS、HBase、Hive、Kylin、Spark Streaming/SQL、Flink的(de)底层核心原理及适用业务场景(结合实际工程代码方式讲解)
|
|
大(da)型分布式数据仓库建(jian)模思路与实践
|
1. 软件(jian)系统(tong)建模方(fang)法(fa):(结构型(xing))类图(tu)、对象图(tu)、构件图(tu)、部署图(tu)、包图(tu);(行(xing)为型)动(dong)图(tu)、状态机图(tu)、顺(shun)序图(tu)、通信图(tu)、用(yong)例图(tu)、时间图(tu)
2. 常用(yong)数据建(jian)模方法:实(shi)体建模法(fa)、维度(du)建模法(fa)、范式(shi)建模法(fa)(结合案例(li)讲解)
3. 基于中台思想,数据(ju)分层的主(zhu)体思路与重(zhong)要性介绍
4. 基于分布(bu)式(shi)数(shu)据仓库,针对数(shu)据的采(cai)集(ji)、处理、建模的最(zui)佳实(shi)践介绍
5. 数据仓库建(jian)(jian)设方法(fa)论(lun),星型(xing)(xing)模型(xing)(xing)(非关(guan)系型(xing)(xing)DB存储,以(yi)空(kong)间(jian)(jian)换时(shi)间(jian)(jian))和(he)雪花模型(xing)(xing)(关(guan)系型(xing)(xing)DB存储,以(yi)时(shi)间(jian)(jian)还空(kong)间(jian)(jian))两种建(jian)(jian)模思想的(de)核(he)心差异和(he)适用场景
|
|
数据建模(mo)与处理行业案例(li)分析(思路(lu)、方法、技术选型(xing))
|
1. 基于事件驱动U-E建模,结合业务分(fen)拆数(shu)(shu)据处理粒度、维度、范围、边界,如:主(zhu)题(ti)式(shi)抽取,数(shu)(shu)据标(biao)签化定义 等(deng)
2. 结合业(ye)务(wu)讲解E-R模型(xing)构建(jian),动态、静态属性识别,数据客观事(shi)实关系识别与定义
3. 基于车(che)联网领(ling)域秒(miao)(miao)级(ji)、毫秒(miao)(miao)级(ji)数据(ju)(ju)(ju)上报如(ru)何接 收(shou)与(yu)处理(li),以(yi)及(ji)如(ru)何将(jiang)其实时(shi)数据(ju)(ju)(ju)和离线的历(li)史数据(ju)(ju)(ju) 结合处理(li)分析(xi)
4. 如何解决数(shu)据挤压问题,有哪些(xie)成熟的方(fang)法和技术手段
5. 数据接(jie)入云端后(hou),如何(he)防丢失,如何(he)做(zuo)削峰处(chu)理(li),如何(he)保(bao)障后(hou)续服务健康运行
6. 案例分(fen)析:数据接(jie)收、解析、建模、存储、计算、提取全流(liu)程中行业如何实战落地
|
如果您想学习本课程,请
预约报名
如果没找到合适的课程或有特殊培训需求,请
订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@cctvision.net,或致电4007991916
技术服务需求表点击在线申请
服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。
专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获