所学课程:1、熟悉Hadoop框架,掌握HDFS的读写流程、MapReduce的shuffle机制、Yarn集群架构等基本原理;
2、掌握Kafka、Zookeeper、Flume等技术,了解Kafka架构和数据一致性原理、Leader选举机制、Flume基础架构等;
3、了解Spark框架,了解Spark常见算子的用法等;
4、熟悉SQL基本语法,熟悉MySQL数据库和Hive数仓工具,掌握SQL调优方法;
5、熟悉数据仓库基本理论,比如模型建模理论、数仓分层架构、维度建模模型等;
6、掌握Java、Python语言,掌握Linux基本操作命令。