大数据开发工程师

实战网易大数据项目,掌握大数据核心技能
企业级数据仓库建设,PB级历史数据离线计算,毫秒级低延迟实时计算

760 次查看
网易
网易云课堂
  • 完成时间大约为 12 个月
  • 中级
  • 中文
注:因开课平台的各种因素变化,以上开课日期仅供参考

课程概况

我们课程设计来自于实际就业需求,老师以就业为导向设置课程大纲,基本涵盖了目前市场上大数据开发工程师所需要的所有技术,是大数据开发工作中实际会用到的知识点,我们课程中设计项目案例,都是网易等一线互联网公司的实际在用的方法,由网易技术大牛亲自讲授;此微专业是一个完整的大数据知识体系的课程,只要依照老师们的安排,用心认真地学习,成为高级工程师或者入职一线互联网公司,是完全没有问题的。

完成所有课程的学习,并按时提交作业参加考试,即可获得由网易云课堂颁发的合格证书;此证书已获得猎聘网、LinkedIn(领英)等求职招聘渠道的认可,含金量高,是求职的加分项。

课程项目

【网易有道】曰志离线分析平台
以网易有道实际业务为依托,介绍日志的收集、存储、加工处理和展示的整个方案。

核心技术
Hive、Kafka、Presto、HDFS、MapReduce

学员收获
通过学习本模块,体验真实环境中数据平台所面临的问题和解决思路,了解真实环境中数据开发要解决的问题。

【网易严选】电商数据仓库实战
以网易严选实际业务为背景,结合电商行业固有特点及数仓的主题域、分层、维度建模
等理论,使用开源大数据技术形成一套从数据采集、加工处理、任务调度、数据查询、数据监控等大数据解决方案。

核心技术
数据仓库的主题域、分层、维度建模

学员收获
掌握数据仓库系统的架构、数仓的主题域、分层、维度建模等理论。

【网易严选】电商实时数仓实战
基于网易严选实时数仓真实业务场景,从交易和流量指标维度构建电商实时数据大屏,从设计、实现到应用搭建了严选实时数仓。

核心技术
数仓设计、业务建模、技术选型、数据模型开发、性能调优

学员收获
以Flink为基础,掌握严选实时数仓设计、开发和应用全链路实战。

【网易严选】电商用户画像实战
基于网易严选的真实用户画像使用场景,运用数据仓库、数据挖掘构建用户画像系统。

核心技术
数据仓库、数据挖掘

学员收获
理解数据仓库的基础上,快速掌握电商用户画像知识体系。

【网易有道】广告实时数据处理实战
以网易有道广告业务为背景,结合广告统计的特点,使用开源大数据技术形成一套集数据采集、存储、统计、查询、监控为一体的大数据解决方案。

核心技术
Kafka、Druid

学员收获
掌握Kafka、Druid、GoblDlin、Samza、Hadoop、Azkaban、Spark、Zepplin等开源大数据框架和大数据实时统计的知识。

【网易有道】广告离线数据处理实战
在网易有道广告实时数据处理的基础之上,讲解了离线处理相关的知识点,并重点对系统的高可用搭建、管理、监控进行了讲解。

核心技术
高可用架构、离线统计、系统监控

学员收获
掌握Kafka落地HDFS,Druid批量任务管理,Druid集群高可用搭建和管理;掌握Spark + Zepplin实现灵活的离线统计任务。

【网易游戏】实时数据处理实战
以网易游戏的数据业务场景为依托,使用Flink为实时计算引擎,以Flink为主体对海量游戏日志数据进行ETL和入库,进行实时游戏数据统计分析,实时指标生成以及实时监
控运维。

核心技术
Flinks Elasticsearchs ETL

学员收获
掌握Flink的编程API;掌握Flink与各大存储引擎如Kafka, HDFS, Hbase, Basticsearch, Kudu, Mysql等进行交互。

【网易游戏】多数据源游戏业务实时分析
依托网易游戏在处理游戏数据中的真实业务场景,提炼网易游戏在实时数仓、跨数据源分析、权限控制、监控告警等多个关键领域的实践经验。

核心技术
kudu、Prestos Elasticsearch

学员收获
了解大数据平台的架构、开发和应用,培养海量数据实时分析、Hive/MySQL等多数据源关联查询、监控报警的能力。

【网易云音乐】搜索业务实时特征实战
以网易云音乐在搜索中的实际需求为背景,通过对用户搜索、播放、下载、分享等行为的处理和关联,实时追踪到用户对任意一个搜索关键词的反馈,为算法决策、搜索词打分等场景提供重要的数据支持。

核心技术
Kafka、Flink

学员收获
掌握Flink DataStream API和Flink State的用法;掌握通过大数据实时计算实现云音乐实时搜索。

【网易云音乐】每曰推歌实战
依托网易云音乐Magina实时计算平台,通过每隔10分钟计算过去24小时点歌台被点歌曲排行榜前10的歌曲,将这些音乐推荐到每曰推荐排行榜,给用户推荐大众最喜欢的歌曲。

核心技术
Flink、Kafka、ETL、MapState、Redis

学员收获
掌握实时读取kafka数据,数据ETL,滑动窗口使用,MapState的使用,实时写数据到Redis。

【网易云音乐】推荐算法应用
以网易云音乐真实的复杂业务为背景,结合音乐场景的特点,从音乐用户画像与特征系统、召回算法系统与排序算法系统入手,针对不同的系统分解应用不同的技术,由简入深,深度结合工业级场景进行项目讲解。

核心技术
用户画像体系、特征工程、召回算法、
排序算法

学员收获
全面了解工业级推荐系统,理解用户画像与特征系统,协同过滤、矩阵分解与双塔模型线性与非线性基础模型及深度模型。

预备知识

1) 会一门开发语言,最好是Java,无编程语言基础人员,需参与专业Java基础测试,通过可学习课程;如果您是开发零基础,我们推荐您学习Java系列的微专业,然后再学习大数据的课程。
2) 懂Linux系统的常用操作,能够使用命令行的方式操作Linux系统
3) 会MySQL数据库,会用SQL语言对数据库进行操作
4) 有一颗积极向上和渴望提升自己的心!(此微专业为提升课程,学习周期较长,也有一定难度,需要坚持)

千万首歌曲。全无广告干扰。
此外,您还能在所有设备上欣赏您的整个音乐资料库。免费畅听 3 个月,之后每月只需 ¥10.00。
Apple 广告
声明:MOOC中国十分重视知识产权问题,我们发布之课程均源自下列机构,版权均归其所有,本站仅作报道收录并尊重其著作权益。感谢他们对MOOC事业做出的贡献!
  • Coursera
  • edX
  • OpenLearning
  • FutureLearn
  • iversity
  • Udacity
  • NovoEd
  • Canvas
  • Open2Study
  • Google
  • ewant
  • FUN
  • IOC-Athlete-MOOC
  • World-Science-U
  • Codecademy
  • CourseSites
  • opencourseworld
  • ShareCourse
  • gacco
  • MiriadaX
  • JANUX
  • openhpi
  • Stanford-Open-Edx
  • 网易云课堂
  • 中国大学MOOC
  • 学堂在线
  • 顶你学堂
  • 华文慕课
  • 好大学在线CnMooc
  • (部分课程由Coursera、Udemy、Linkshare共同提供)

© 2008-2020 MOOC.CN 慕课改变你,你改变世界