Flink 流批一体在 Shopee 的大规模实践
发布网友
发布时间：2024-10-21 14:49
共1个回答
热心网友
时间：2024-11-29 02:07
Shopee 在大规模应用 Flink 流批一体的过程中，实现了显著的业务价值和生产优化。以下是关键点的概述：
1. 流批一体的应用场景
Flink 在 Shopee 的应用广泛，超过60个项目使用了 Flink 批任务，每日生成数千实例支持业务。尤其在数仓领域，Flink 的流批一体解决了Lambda架构中的统一计算问题，通过 Flink+Hudi构建近实时数仓，满足广告业务和核心业务的数据需求，实现了分钟级延迟和资源效率提升。
2. 批处理能力的生产优化
稳定性：通过引入 Flink Remote Shuffle，Shopee 改善了批作业的执行性能和稳定性，降低了Task失败率，提升了整体性能。
易用性：通过History Server，优化了SQL任务的定位和资源配置，提供了算子实现逻辑的透明性，使得资源使用更精细化。
3. 与离线生态的集成
开发层面：统一UDF和元数据管理，使得用户可以无缝访问和复用离线数据模型，通过Unity Catalog访问多种数据源。
执行层面：Flink Batch与Shopee调度平台和数据依赖服务集成，强化了数据加工过程中的批任务支持。
4. 平台建设和演进
History Server优化：引入Yarn日志跳转功能，减少小文件问题，仅解压实际需要的历史任务，降低存储开销。
批任务支持演进：从引进到深入应用，Flink平台成功支持了Shopee业务的多样化需求。
未来，Shopee将继续探索Flink在更多业务场景中的应用，并致力于降低用户迁移成本，推动社区发展。
