数据工程的定义和重要性

1. 介绍数据工程的基本概念

2. 讨论数据工程在当今数据驱动决策中的关键作用

数据工程与数据科学、数据分析的区别

1. 明确数据工程、数据科学和数据分析的职责和目标的不同点

数据工程师的职责和角色

1. 描述数据工程师在数据管道设计、构建和维护中的关键职责

数据工程师需要具备的技能

1. 云计算平台：讲解 AWS 等主要云计算平台的基础知识和应用

2. 数据仓库和 ETL 处理探讨如何构建数据仓库和进行 ETL（Extract, Transform, Load）操作

3. 数据存储技术讨论 Hadoop、NoSQL 等数据存储技术的选择和应用

数据系统基础：OLTP / OLAP 与数据流动方式

• 业务系统如何产生数据

• OLTP vs OLAP

• 数据为什么不能直接查业务库

• 数据是如何“被搬走”的

数据是如何从业务走到分析的？

• 什么是 ETL / ELT

• E / T / L 各自负责什么，不负责什么

• 批处理 vs 流处理（只讲概念）

澳大利亚数据工程师就业市场概况

1. 分析澳大利亚数据工程师的职业前景、就业趋势和行业需求