ETL详解
发表于 2022-05-04 14:28浏览量：0
ETL（Extraction-Transformation-Loading）数据抽取、转换和加载。
ETL软件开发工程师简称ETL工程师，是从事系统编程、数据库编程与设计，要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。
ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。
数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中;
在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面;数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。
ETL工程师岗位职责：
1. 海量数据的ETL开发，抽取成各种数据需求。
2. 参与数据仓库架构的设计及开发 。
3. 参与数据仓库ETL流程优化及解决ETL相关技术问题。
4、熟悉主流数据库技术，如oracle、db2、Sql server等。
5、精通ETL架构，有一定的etl开发经验，了解日常作业的部署和调度。
6、熟悉ETL开发工具，如Datastage,Congos,Kettle等。
ETL工程师发展方向：
ETL工程师，涉及到的领域广泛，就业范围广泛，例如各种大型公司的开发部，研发部，科技部等等，其中BI工程师作为ETL工程师分支中的佼佼者。BI工程师包含了数据仓库工程师的工作，数据仓库工程师在建立数据仓库的工作时又得干ETL的工作；
换句话说：BI是整个商业智能的大概念，而商业智能的支撑正是数据仓库，数据仓库的建立靠的是ETL。
ETL工程师就业去向：
1.数据库工程师：作为任何软件项目开发不可或缺的人才，现实生活中我们所有能看到的计算机界面，都需要后台数据的处理存储，这就是数据库工程师的工作，比如：银行、网购平台、游戏、医疗、保险、养老、酒店、学校、政府等等的机构，他们的后台数据需要有存储的数据库，这些就用到了数据库工程师。
数据库工程师的工作是新时代的铁饭碗，为什么这么说？只要银行还想有人去存贷款，网购平台还想继续网络交易，医疗机构还需要刷卡，保险行业还需要记录客户信息，养老保险还需要缴纳记录，集聚点还需要客人提供自己的身份信息，学校还需要学生的信息存档，政府机构还需要各种文件的保密等等，都需要有数据库工程师，给他们处理后台的信息更新加载和存储及保密等一系列处理。
2.银行：银行的职位每年都会是一些名牌大学的热点，曾有多少名牌大学的学生为了区区一个银行柜台的职位各种竞争，最后却不得进入，BI工程师是银行必争的人才。
3.咨询顾问：一些开发经验比较丰富的ETL工程师，不再从事开发工作，对公司的产品比较了解，作为公司对外的窗口般存在，一般三年左右的开发经验可以作为公司的中级咨询顾问，五年左右的可以做到高级咨询顾问。
4.项目管理：每个公司开发部的基层领导，ETL工程师晋升项目管理一般用时三到四年，项目管理对于技术的要求不高，仅仅需要对项目的整体流程有较为清晰的认识，能够协调乙方公司与甲方公司的关系，并处理好项目组的日常工作及生活；至于部门主管，部门经理甚至更高的管理层，都是从基层一步步走上去的。
5.资深专家：一般从事ETL开发10年左右可以晋升专家级别，专家拥有资深的项目经验，脱离实际的开发，更多的是对公司各项目组的疑难杂症给予指导及解决方案。
6.机构讲师：拥有ETL工程师两到三年的开发经验，可以进培训机构从助教做起，或者一些大学的讲师，或者企业的培训讲师，五年以上的开发经验为中高级讲师，供不应求。
月薪过万的BI工程师每天都在干什么呢？
在一线大城市，很多BI工程师的月薪都在万元以上，就是很普通的刚入门的那些小菜鸟们工资都在7000左右。你想不想知道，这些高工资的IT业精英们，每天都在忙些什么呢?
其实，BI工程师只是对于商业智能的一个统称，它包含好很多方面，大体有以下四类：
1）ETL数据整合 2）数据存储管理 3）数据挖掘设计 4）多维分析展现
单就ETL数据整合就分为：Oracle OWB；Oracle ODI；IBM Datastage；Informatica
知识点很多，在今后的工作中大家需要不断地学习，在项目中不断进步，现在大家还没有入门，举个简单的例子让大家先了解一下日后的工作：
其实，简单的来说，那些商业中的数据，就好比我们收苹果。
数据整合，就是摘苹果，我们把果树上的苹果全部采摘下来。
数据存储管理，就是我们要把这些苹果放到仓库里。
数据挖掘设计，就像我们把苹果进行归类，好的大的归在一起，不好看的小的归在一起。
最后的多维分析展现，就像我们把这些苹果整理好了，卖给不同的人群，高需求的人群吃什么样的苹果，普通百姓吃什么样的苹果一样。当然，他们的工作要比收苹果复杂的多，他们面对的都是那些看不见的数据，用代码给他们进行归类。
其实，BI工程师是一个入门相对高的行业，计算机相关行业的大学本科毕业生，也都需要经过20天左右的基础培训，才能够入门，如果是非计算机相关行业的大学生，需要经过30天左右的基础培训才可以入门，但是，这个行业的商业需求是很大的，而且是未来的发展方向。重点是在于你自己够不够努力，认真学习技术和相关行业的知识，这才是最重要的，也是那些真正月薪数万的原因所在。
留言 ( 快速提交留言，等待商家尽快回复! )
请勿恶意留言，一经发现将报警处理!
项目推荐
