一文带你了解 Nebula 的存储设计和思考
发布网友
发布时间：2024-05-03 02:43
共1个回答
热心网友
时间：2024-05-11 22:41
存储设计的核心在于空间（Space）的管理和一致性保障。通过partition和replica的巧妙应用，Nebula确保了数据的分布式存储与一致性。在v2.x版本中，引入了string VID和图存储格式的革新，将点和边分离，这让查询速度如虎添翼，提升了效率。
在数据存储上，Nebula采用KV模型，点数据包含VID和tag类型，而边则存储起点、类型、ranking和终点类型。为了优化查询性能，Nebula采取了切边策略，每边存储两份，虽然带来了一定的冗余，但查询响应迅速。在图存储的选择上，Nebula倾向于切边，以优化单点查询的体验。
用户关心的问题涵盖了边的value存储、强Schema设计、数据一致性、物理隔离以及Schema的管理。边的value存储遵循强Schema设计，通过编码策略，如定长string和offset指针，实现了高效的数据存储和读取。与Neo4j相比，Nebula的这种设计减少了序列化反序列化带来的开销。物理隔离则通过独立的目录和RocksDB实例来实现，但可能带来资源分配的挑战。Meta数据和Schema存储分别在RocksDB中进行，保证了服务的独立性和高可用性。
RocksDB是Nebula数据存储的基石，它区分了meta和storage，各自承担不同的职责。Meta以高可用为优先，而storage则专注于图数据操作。性能和稳定性是Nebula的未来重点，包括优化RocksDB的索引处理和Compaction，以及通过动态扩缩容应对节点故障。同时，引入主备架构，以减少网络和RPC开销，提升整体性能。
在数据管理上，VID遍历策略在v2.x版本中得以优化，精确查询避免了不必要的数据扫描。数据预校验是插入操作的重要环节，Nebula会根据Schema进行验证，确保数据的正确性。边事务（TOSS）则是保证边数据最终一致性的关键机制，而点事务的简化则出于性能考虑。
对于数据存储的维护，Nebula提供自动清理机制，如WAL TTL管理，能有效减少磁盘占用和过期日志。Compaction的引入则进一步提升了查询效率，优化了存储资源。磁盘容量不均的问题，可能需要系统层面的调整，Nebula的wal设计考虑了性能，避免了对raft协议的负面影响。
总的来说，Nebula Storage凭借其精心设计的存储架构和高效的数据管理策略，为用户提供了稳定、高效的图数据处理体验。欲了解更多图数据库技术，不妨加入Nebula的交流群，共享技术前沿和实战经验。
