Shopee Data Infra团队隶属于Shopee工程技术部门,主要负责公司的大数据系统的开发和保障,其中包括分布式文件系统,分布式计算引擎,实时计算引擎,OLAP查询引擎,KV引擎等系统的开发,测试,升级,稳定性保障,性能优化,以及支撑这些系统背后的成千上万的服务器的管理。我们有来自世界各国的热情的工程师,致力于用最合适的技术构建最好的系统。我们的工程师不仅专注于解决眼前的问题,也放眼未来为长期的需求积累技术经验和实践方案。Shopee的业务在过去几年经历了飞速的发展,并且还在继续更快的进程中,需要热爱技术,喜欢解决问题的你加入我们,一起进步。

 

工作职责

  • 打造业界领先的 PB 级 OLAP 引擎,并支撑Shopee & Seamoney 所有产品线大数据结构化查询和分析系统需求

  • 负责以 Spark SQL、Presto 与 Druid, ClickHouse,为代表的 OLAP 引擎的内核级极致优化

  • 负责公司内部数据仓库方向大数据架构设计和技术支持

  • 理解并抽象业务需求,提供业务团队高效合理的技术方案并推动落地

任职要求

  • 精通数据库原理,熟悉主流的 OLAP 引擎的优化原理,向量化执行、Filter 下推、物化视图、列式存储等;

  • 熟悉 Spark、Presto、Druid、Kylin、Hive 等主流大数据系统(至少一款)原理,熟悉源码者优先;

  • 熟悉 Java / Scala 编程;

  • 具备大规模系统的故障诊断与性能优化能力;

  • 具有较强的项目推动能力,能推动技术项目在业务侧的落地;

  • 具备一定的业务理解与业务架构能力,能为业务的架构提供方案或建议。

Apply for this Job

* Required

  
  
+ Add Another Employment