新闻资讯

新闻资讯 媒体报道

大数据方向学习方向和目标

编辑:016     时间:2021-07-01
一、学习目标
企业级大数据工程师实训以Java,Python,数据库,Linux 为技术基础,提高学员大数据开发技术水平及综合素质为根本目标。在专业技术上突出强调学员对专业知识的实际应用;在综合素质上突出强调学员的学习及应用能力、分析和解决问题的能力、良好的职业素质和团队合作。
立足于培养大数据开发、架构设计、项目管理、技术支持等方向的人才,学生在具有必备的基础理论知识和专业知识的基础上,培养以下能力:
①掌握主流的开源大数据技术,包括安装、使用、开发;
②理解大数据开发特点;能基于用户的业务场景给出大数据技术解决方案;
③掌握企业大数据项目开发分析、设计、实现、测试、发布全过程;
④了解并体验企业工作环境和工作方式;
⑤培养职业素质、团队合作精神及沟通能力,体验企业文化,适应未来的工作环境;
⑥增强实训学员的就业能力,培养符合企业需求的大数据工程师。
二、学习方向
阶段一:大数据基础

    Linux虚拟机安装
    Linux操作方法与常用命令
    Linux软件安装。
    复杂逻辑的SQL实现
    海量数据的SQL开发注意事项
    简单网络数据抓取
    需验证登录的网络数据抓取
    阶段二:数据仓库
    数据仓库基本概念
    数据仓库设计
    用kettle实现ETL开发
    用EasySchedule实现ETL开发
    数据质量和任务调度
    阶段三:Apache Hadoop
    Hadoop安装与参数设置
    Hadoop概述
    HDFS操作方法
    java开发远程访问HDFS
    MR开发语法
    hadoop生态绍
    Apache Hive简介与操作
    Apache Hive开发
    Apache Spark安装
    Apache Spark原理
    Apache Spark Dataset开发语法
    Apache Spark SQL开发语法
    Apache Spark RDD开发语法
    Apache Spark RDD开发案例解析
    Apache HBASE安装
    Apache HBASE原理
    Apache HBASE开发语法
    阶段四:流计算
    Apache KAFKA安装
    Apache KAFKA原理
    Apache KAFKA消息生产者开发
    Apache KAFKA消息消费者开发
    Apache Flink安装
    Apache Flink原理
    Flink DataStream 接收socket数据源
    Flink DataStream 接收KAFKA数据源
    Apache Flink 数据输出到hdfs、mysql
    阶段五:高性能数据库
    ElasticsSearch安装
    ElasticsSearch原理
    ElasticsSearch的增删改查开发
    ClickHouse安装
    ClickHouse原理
    ClickHouse语法
    ClickHouse远程访问
    阶段六: 数据挖掘
    数据挖掘流程
    常用算法
    数据挖掘工具WEKA使用
    Java调用WEKA算法开发
    Java 调用xgboost算法开发
    Python调用常用机器学习算法
    阶段七:数据可视化
    JimuReport安装
    JimuReport开发流程
    JimuReport表格开发
    JimuReport图形开发
    阶段八: 架构设计
    架构设计概述
    功能架构设计
    技术架构设计
    系统架构设计
    硬件与网络设计
————————————————
版权声明:本文为CSDN博主「小白保姆」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_43617598/article/details/117917957
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

回复列表

相关推荐