Shopee Data Infra团队隶属于Shopee工程技术部门,主要负责公司的大数据系统的开发和保障,其中包括分布式文件系统,分布式计算引擎,实时计算引擎,OLAP查询引擎,KV引擎等系统的开发,测试,升级,稳定性保障,性能优化,以及支撑这些系统背后的成千上万的服务器的管理。我们有来自世界各国的热情的工程师,致力于用最合适的技术构建最好的系统。我们的工程师不仅专注于解决眼前的问题,也放眼未来为长期的需求积累技术经验和实践方案。Shopee的业务在过去几年经历了飞速的发展,并且还在继续更快的进程中,需要热爱技术,喜欢解决问题的你加入我们,一起进步。
工作职责
-
打造业界领先的 PB 级 OLAP 引擎,并支撑Shopee & Seamoney 所有产品线大数据结构化查询和分析系统需求
-
负责以 Spark SQL、Presto 与 Druid, ClickHouse,为代表的 OLAP 引擎的内核级极致优化
-
负责公司内部数据仓库方向大数据架构设计和技术支持
-
理解并抽象业务需求,提供业务团队高效合理的技术方案并推动落地
任职要求
-
精通数据库原理,熟悉主流的 OLAP 引擎的优化原理,向量化执行、Filter 下推、物化视图、列式存储等;
-
熟悉 Spark、Presto、Druid、Kylin、Hive 等主流大数据系统(至少一款)原理,熟悉源码者优先;
-
熟悉 Java / Scala 编程;
-
具备大规模系统的故障诊断与性能优化能力;
-
具有较强的项目推动能力,能推动技术项目在业务侧的落地;
-
具备一定的业务理解与业务架构能力,能为业务的架构提供方案或建议。