主要職責：
1、負責各種數(shù)據(jù)的采集清洗整合；
2、負責大數(shù)據(jù)項目的開發(fā)和維護；
3、負責hadoop相關組件的性能優(yōu)化。

技能要求：
1、至少熟練使用java或scala中一種；
2、熟悉hadoop生態(tài)圈，對每個hadoop組件都能夠了解：hdfs、yarn、hive、spark、es、kafka、spark；
3、具有大數(shù)據(jù)開發(fā)工作經驗（具備處理TB級別數(shù)據(jù)處理計算經驗優(yōu)先）；
4、熟練使用一種流處理引擎Sparkstreaming或Flink，快速完成大數(shù)據(jù)計算開發(fā)工作；
5、了解linux系統(tǒng)，及shell編程.