大数据催生新职业,ETL工程师太抢手了!!

 朱小小螺蛳粉

大数据催生新职业,ETL工程师太抢手了!!

莱牛教育

行业:教育 > 成人教育

门店:100家

投资额:20~50万

了解加盟
       2019年4月1日,人社部发布13个新职业,数字化管理师、ETL工程师、人工智能工程技术人员、大数据工程技术人员、物联网工程技术人员、无人机驾驶员等一起被官宣为新时代的新职业。而仅仅在几天前,在教育部公布的最新高校新增专业名单中,196所高校“挤破头”要上的专业第一名也是大数据。于是,有人大胆预测:大数据是未来10年的“金饭碗”。
微信图片_20220301115326

       大数据比你自己更懂你
       马云曾经在一次公开演讲中表示,未来30年数据将取代石油,成为最强大能源。而在大数据改变世界之前,我们已经清楚地看到它对我们日常生活的改变。
       “太神奇了,它怎么知道我要买这一款?”最近,马莉在网购时遇到了一件怪事。她想买一个品牌的旧款针织开衫,于是在淘宝搜索栏里输入了关键词,却没有找到。但是,三个小时后当她再次打开淘宝时却发现,那件心仪已久的开衫正安静地“躺”在“猜你喜欢”一栏里。她吃惊地和同事交流此事,对方指着刚刚收到的一条短信说:“我也赶巧了,家里孩子的奶粉过两天就吃完了,正准备买,就有促销活动!”
       当我们的衣食住行、吃喝玩乐与各种APP牢牢绑在一起的时候,整个社会已进入到一个数据化生存时代。用户只要拿起手机,就无时无刻不在产生着数据。而另一头连接着的好像港剧中的“读心神探”,只不过这一次的判断依据,不是肢体语言,而是我们在互联网“冲浪”时留下的点滴痕迹。
       它们用无限的推送,戳破现代人的心。随机播放的歌都是你喜欢的,给中年人推荐防脱发洗发水,知道你是连续11次独自看电影的单身狗……很多人生活中唯一的要求就是渴望被人理解,最终却发现最懂自己的是大数据。更重要的是,它记录下你的审美,你的情绪,你的失眠,帮你过滤掉它认为的无用信息。
       “大数据的‘大’,就意味着它的价值密度低。如果不‘深挖’,这些数据就没有价值。”作为国家最知名的大数据公司之一,拓尔思新闻出版事业部总经理林松涛对记者说。海量数据本身是孤岛,让“沙漠”变“绿洲”,就需要人类的智慧。于是,ETL工程师这一新职业在时代的催生下诞生了。他们每天面对千万级和亿级的数据,找到数据与数据之间的规律或者异常,形成结论和知识,推动小到企业大到社会的发展,最后影响到我们每个人的日常生活。
       在ETL工程师看来,数据并没有好坏之分,关键看你怎么用、用在哪。也没有绝对的客观,如果说摄影师的取景框是他们裁剪世界的一种“偏见”,那么ETL工程师给数据贴上不同的标签、采用不同的分析模式,出来的结果也不一样。但是这种价值的“提纯”,会让整个社会的生产效率得到极大提高。近日发布的《2019中国薪酬标准指南》中显示,由于越来越多的管理决策正转向数据驱动,数据分析能力已成为中国公司招聘时高度关注的技能。
微信图片_20220301115332
       并非“码农”,分析才是硬核能力
       有人将ETL工程师等同于“码农”,认为写写代码取数,便是数据分析工作的核心,其实是错误的。“数据提取只是一种手段,而不是目的。真正的工作在于‘分析’,这才是核心。”途牛旅游网的ETL工程师Mandy解释到。
       美国沃尔玛超市有一个很经典的案例,把看上去毫不相关的啤酒和尿布摆放在一起,两者的销量大幅提升。“商品的关联是件很神奇的事,通过数据分析发现,男性顾客在购买婴儿尿片时,常常会顺便搭配几瓶啤酒来犒劳自己。”1990年出生的沈海旺,是苏宁集团自产的一位ETL工程师,前面提到的关于买奶粉的短信提醒,可能就是他的杰作。沈海旺做过一个婴幼儿奶粉“周期购”的数据分析,让苏宁易购上的奶粉销量上升了三成。
       沈海旺发现,商城上卖出去的一件奶粉,有可能是一箱,也有可能是一听,每一种都分900克、1200克等不同规格。通过参照每个年龄段孩子摄入奶粉量的不同,可以大致推断出用户的购买周期,最终通过短信方式,在适当的时机提醒用户购买。说起来简单,但实际的购买行为多样而复杂,比如有的人是帮亲戚家孩子买的,有的人这次在A平台购买下次换到B平台,数据不连贯。沈海旺将这些无用的数据形象地称之为“脏数据”,他说初期会有大量的时间花费在“脏数据”的清洗上。
       “数据本身,既不是答案也不是真相,只有不停拷问,它才会坦白一切。”今年3月,交汇点APP给“积分落户”的4133名新南京人进行了画像,原本复杂的调查过程,因为清晰的大数据的介入而变得简单。“外地人落户南京的时候,公安局都会出一个公示。我们找到这些公示,根据身份证号的前几位就可以判断他迁入南京前的户籍所在地。”
       对P2P网贷平台的风险进行及时预警,ETL工程师也出了把力。他们设计了一个名叫“冒烟指数”的体系,汇总了互联网、公检法、工商税务一切公开信息进行数据分析后评分,“冒烟指数”一旦超过60分,相关部门就要列入重点监管;超过80分,则要启动打击处置程序。
       调查中发现,目前市面上的ETL工程师的教育背景多元,学统计学、计算机、数学、金融学甚至情报学的都有,他们大多是大专及以上学历,90后男性为主。男生工具分析的能力强,而女生心细,自我要求高,两个性别在这个行业各有优势。对于这个职业来说男生更深,女生更广。
       数字化转型浪潮席卷各行各业,大数据以极快的速度从概念走向现实,深度嵌入到经济社会的方方面面。“截至2018年,世界500强公司里,90%以上都有类似ETL工程师的岗位。”沈海旺所在的标签平台产品部是苏宁大数据中心下面的一个部门,2013年他从江苏科技大学毕业加入苏宁时,还没有这个部门。从孤身一个人做大数据,到如今发展成数十人的部门,也折射出大数据分析在中国的热度。而作为一家世界500强企业,苏宁目前拥有200-300的大数据人才,除了位于IT总部底下的大数据中心,各个业务部门也都分别有自己的ETL工程师。
       事实上,2016年2月,北京大学、对外经济贸易大学、中南大学首次成功申请到“数据科学与大数据技术”本科新专业。也就是说,真正专业对口的第一批毕业生要到2020年才能走上ETL工程师的工作岗位。而现在从业的ETL工程师,都是从计算机、信息、金融、统计学等专业分流而来的。
       “刚刚毕业的大学生,薪水就等同于我们企业中层,即使这样,想招到一个优秀的ETL工程师依然很难!”一家国际家电集团的江苏总部人力资源部负责人说。“他们不愁找工作,普通从业经验超过3年的人,都比较抢手,猎头跟着挖,一旦跳槽工资跟着翻倍。”
微信图片_20220301115336
       大数据时代我们每个人都应该培养自己的大数据思维,就像我们现在学计算机、学英语一样,大数据分析能力或许是未来我们与世界连接的一个基本工具!

上一篇: 佑生月子会所实力雄厚,让您少走“弯路”!

下一篇: 一款让人念念不忘的冒菜——冒大仙冒菜

留言 ( 快速提交留言,等待商家尽快回复! )

  • 姓名
  • 手机号码
  • 微信
  • 开店地区
  • 验证码

请勿恶意留言,一经发现将报警处理!

留言 ( 快速提交留言,等待商家尽快回复! )

  • 姓名
  • 手机号码
  • 微信
  • 开店地区
  • 手机验证码

请勿恶意留言,一经发现将报警处理!