OLAP的统一及技术趋势:StarRocks 架构和实践分享
发布网友
发布时间：22小时前
共1个回答
热心网友
时间：2024-10-21 10:21
主要分为四个部分：产品介绍、功能介绍、客户场景案例、产品未来规划。
1. StarRocks产品介绍
StarRocks产品目前主要以全托管和半托管两种形态存在。全托管服务提供实例管理、数据运维、数据开发及Adhoc场景支持。全托管服务在半托管基础上增加了计算资源层（如FE/BE）的托管，增强数据运维能力。EMR产品包括三种形态：on ECS半托管形态、基于Kubernetes（K8S）的容器化形态（on ACK）、Serverless形态。未来EMR将扩展Serverless形态，计划集成更多技术，如Spark等，以满足更多用户需求。
2. StarRocks功能介绍
全托管服务围绕实例概念展开，提供自动升级、可视化配置、一键告警等基本管理功能。通过serverless架构，用户可以轻松创建和管理实例，无需关注底层基础设施运维。权限管理包括用户管理和访问控制。全托管服务具备数据运维层面的能力，如MySQL诊断分析等。全托管服务支持数据开发和Adhoc场景，提供SQL编辑器等基本能力，部分功能正在迭代升级中，以实现统一查看外部Catalog元数据。
3. StarRocks客户场景案例
StarRocks从阿里云EMR现有用户中，大部分是从Presto、Impala等旧引擎迁移而来。客户在性能提升和资源占用减少方面获得实惠。在线教育客户通过Kafka、Flink、StarRocks实现数据处理，优化实时数据分析。互联网金融客户在查询性能和资源消耗上实现40%提升，统一组件减少运维难度。采用数据湖存储架构的在线教育客户使用Hudi作为存储方案，通过StarRocks进行OLAP分析。音频公司使用StarRocks作为小型数据仓库解决方案。电商客户将BI报表分析部分迁移至StarRocks，提高实时查询性能。
4. StarRocks产品未来规划
EMR将重点聚焦StarRocks，提供OLAP领域的解决方案。未来工作将围绕存算分离场景，发布运维增强功能，如智能诊断和实例汇总信息，提升集群稳定性及快速定位问题。随着3.1版本发布，弹性功能将集成到全托管版本中。针对云上资源优化性能和存储成本。未来规划围绕Lakehouse场景，包括数据库分析场景及小型数仓场景，期待产品稳定后进一步拓展。
以上内容涵盖了StarRocks产品架构、功能、客户案例及未来工作展望，感谢关注，我们将持续努力，提供更好的产品和服务。
