大数据存储平台必须具有弹性
发布网友
发布时间:2022-04-25 06:21
我来回答
共1个回答
热心网友
时间:2023-07-12 00:42
大数据存储平台必须具有弹性
“大”是相对而言的概念。例如,对于像SAP HANA那样的 “内存数据库”来说,2TB可能就已经是大容量了;而对于像谷歌这样的搜索引擎,EB的数据量才能称得上是大数据。
“大”也是一个迅速变化的概念。HDS 在 2004 年发布的 USP 存储虚拟化平台具 备管理 32PB 内外部附加存储的能力。当时,大多数人认为,USP 的存储容量大得有 些离谱。但是现在,大多数企业都已经拥有 PB 级的数据量,一些搜索引擎公司的数据 存储量甚至达到了 EB 级。由于许多家庭都 保存了 TB 级的数据量,一些云计算公司正在推广其文件共享或家庭数据备份服务。
有容乃“大”
由此看来,大数据存储的首要需求存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于 PB 级时代,而EB级时代即将到来。过去,许多企业通常以五年作为 IT系统规划的一个周期。在这五年中,企业的存储容量可能会增加一倍。现在,企业则需要制定存储数据量级(比如从PB级到EB级)的增长计划,只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下,用户可以轻松实现容量回收和容量利用率的最大化,并延长现有存储系统的寿命,显著提高IT系统的灵活性和效率,以满足非结构化数据增长的需求。中型企业可以在不影响性能的情况下将HUS的容量扩展到近3PB,并可通过动态虚拟控制器实现系统的快速预配置。此外,通过HDS VSP 的虚拟化功能,大型企业可以创建0.25EB容量的存储池。随着非结构化数据的快速增长,未来,文件与内容数据又该如何进行扩展呢?
不断“生长”的大数据
与结构化数据不同,很多非结构化数据需要通过互联网协议来访问,并且存储在文件或内容平台之中。大多数文件与内容平台的存储容量过去只能达到TB级,现在则需要扩展到PB级,而未来将扩展到EB级。这些非结构化的数据必须以文件或对象的形式来访问。基于Unix 和Linux的传统文件系统通常将文件、目录或与其他文件系统对象有关的信息存储在一个索引节点中。索引节点不是数据本身,而是描述数据所有权、访问模式、文件大小、时间戳、文件指针和文件类型等信息的元数据。传统文件系统中的索引节点数量有限,导致文件系统可以容纳的文件、目录或对象的数量受到*。HNAS 和HCP 使用基于对象的文件系统,使得其容量能够扩展到PB级,可以容纳数十亿个文件或对象。位于VSP 或HUS 之上的HNAS 和HCP 网关不仅可以充分利用模块存储的可扩展性,而且可以享受到通用管理平台HitachiCommand Suite 带来的好处。HNAS 和HCP 为大数据的存储提供了一个优良的架构。大数据存储平台必须能够不受干扰地持续扩展,并具有跨越不同时代技术的能力。数据迁移必须在最小范围内进行,而且要在后台完成。大数据只要复制一次,就能具有很好的可恢复性。大数据存储平台可以通过版本控制来跟踪数据的变更,而不会因为大数据发生一次变更,就重新备份一次所有的数据。HDS 的所有产品均可以实现后台的数据移动和分层,并可以增加VSP、HUS 数据池、HNAS 文件系统、HCP 的容量,还能自动调整数据的布局。传统文件系统与块数据存储设备不支持动态扩展。大数据存储平台还必须具有弹性,不允许出现任何可能需要重建大数据的单点故障。HDS可以实现VSP 和HUS的冗余配置,并能为HNAS 和HCP节点提供相同的弹性。大数据存储平台需要将文件、块数据和内容集成到一个统一的HitachiCommand Suite管理平台之上,以满足大数据处理和应用的需求。
大数据时代下的三种存储架构
基于大数据应用需求,“应用定义存储”的概念被提出。存储系统作为数据中心的核心部分,不再仅仅是传统的分散的、单一的底层设备。除了需要具备高性能、高安全、高可靠等特性,还需要具备虚拟化、并行分布、自动分层、弹性扩展、异构资源整合、全局缓存加速等多方面的特点,以满足具备大数据特征的业务应用需求。...
一体化大数据平台建设存在的问题
一体化大数据平台建设存在的问题:1、资源弹性不足,无法按需自动扩容。2、资源利用率低。3、资源隔离性差。4、系统管理困难。5、管理方式不统一。
大数据时代下的三种存储架构
除了传统的高可靠、高冗余、绿色节能之外,新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征,才能满足具备大数据特征的应用需求。这些史无前例的需求,让存储系统的架构和功能都发生了前所未有的变化。 基于大数据应用需求,“应用定义存储”概念被提出。存储系统作为数据中心最核心的数据基础,不再仅...
Hadoop环境中管理大数据8大存储技巧?
创建数据湖并不容易,但大数据存储可能会有需求。我们有很多种方法来做这件事,但哪一种是正确的?这个正确的架构应该是一个动态,弹性的数据湖,可以以多种格式(架构化,非结构化,半结构化)存储所有资源的数据。更重要的是,它必须支持应用不在远程资源上而是在本地数据资源上执行。
弹性云主机使用场景包括
大数据处理与分析 在大数据时代,处理和分析海量数据需要强大的计算能力。弹性云主机能够根据需要提供强大的计算能力和存储空间,满足大数据处理和分析的需求。企业可以利用云主机的弹性特性,根据数据量的变化动态调整计算资源,实现更高效的数据处理和分析。云计算平台搭建 弹性云主机是搭建云计算平台的重要组件...
查大数据哪个平台好
阿里云大数据平台的处理能力强大,其分布式计算框架能够快速处理海量数据,提供实时的数据分析结果。同时,平台还配备了丰富的数据挖掘和分析工具,帮助用户深入挖掘数据价值,为企业的决策提供有力支持。此外,该平台还具备良好的扩展性和弹性,能够根据业务需求灵活调整资源配置。安全性是阿里云大数据平台的另一大...
大数据存储技术有哪些
云计算存储是大数据时代的一种重要存储解决方案。它利用云计算的技术和架构,将数据存储和管理放在云端进行。云计算存储具有弹性可扩展、高可靠性和安全性的特点,可以为用户提供高效、便捷的数据存储服务。以上就是对大数据存储技术的简要介绍。随着技术的不断发展,大数据存储领域将会有更多的创新技术和解决...
什么是t cloud
二、T Cloud的特点 T Cloud作为云计算服务平台,具备以下特点:1. 弹性扩展:根据用户需求动态调整计算资源和存储空间。2. 安全性高:采用先进的安全技术和措施保护用户数据。3. 高效性能:通过分布式计算和存储技术,提供高效的数据处理和计算能力。4. 易于使用:提供友好的用户界面和API接口,方便用户...
大数据分析架构需权衡四要素
随着许多组织中数据量和数据种类的增长,大数据平台的建立需要有对未来的考量。必须提前考虑和求证正在进行评估的大数据技术是否能够进行扩展,以达到不断向前发展的需求所要求的级别。这便超出了存储容量的范畴,将性能也包含了进来,对那些从社交网络,传感器,系统日志文件以及其他非事务源获取数据作为其业务...
首批!天翼云大数据平台率先通过信通院无服务器架构大数据平台测试
天翼云大数据平台的优势体现在每个细节:弹性灵活的架构,帮助企业节省成本,通过动态资源调度和在线/离线混合部署,确保资源的高效利用。自主研发的核心引擎,确保了高性能的同时,兼容国产化操作系统和CPU,满足了国产化环境下的业务需求。在高可用性和容灾设计上,平台的多租户隔离和权限管理,确保了数据安全...