▎与上个世纪计算机的向上平民化不同，这次HPC拥抱的是更复杂的业务负载。
泰坦传媒编辑丨张帅
世界上第一台电脑叫什么名字？ 很多人不假思索就能回答——“ENIAC”。
那么，“Eniac”最初是用来做什么的呢？ 很少有人知道，1946年，“Eniac”诞生什么是物理带宽，解决的是弹道估算问题。 宾夕法尼亚学院斥巨资40万日元研发“Eniac”。 那时候，电脑是一种战略物资。
很长一段时间后，个人PC的普及使得电脑逐渐进入大众视野。 IBM和苹果都是第一代家用笔记本厂商，电脑作为战略物资的属性被换了一个名字保留下来。 它是 HPC（高、高性能计算）。
HPC已成为计算机科学的一个分支，利用超级计算机和并行处理技术解决复杂的估计问题，主要针对大规模科学问题的估计和海量数据的处理，如科学研究、天气预报、计算模拟、 CFD/CAE、生物制药行业、基因测序、图像处理等年度全球HPC 高性能计算机排行榜备受关注。
近年来，大数据、人工智能等新兴应用引发了高性能计算的又一次变革。 与上世纪计算机的向上平民化不同，HPC向下拥抱更复杂的业务负载，促使传统HPC开始向HPDA（High Data）演进。
华为执行监事、ICT产品与解决方案总裁王涛
在2021华为全联接大会上，华为常务监事、ICT产品与解决方案总裁王涛介绍了数字基础设施的七大创新和客户实践。 其中，业界首创的HPDA分布式存储引发热议。 什么是高性能？ 数据分析HPDA，HPDA需要什么样的分布式存储？ 看一看。
HPDA：从数据中获取价值
我们智能手机的计算能力远远超过了 NASA 1969 年登月计划中最先进计算机的计算能力。 但是，与手机相比，HPC需要解决的业务复杂度也呈指数级发展。 一个重大的变化是数据原有HPC架构的爆燃式衰退导致存储不堪重负。
传统HPC主要通过模拟数学模型来估算价值，需求的是无与伦比的计算能力。 借助 HPC 资源，HPDA 也称为数据密集型负载。 典型特征是数据量大、时效性强、算法复杂。 值，两者的业务逻辑不同，导致存储需求不同。
例如，在洪水钻探从2D到3D的演化过程中，数据量减少了5-10倍； 在视频渲染从2K到8K的革命中，数据量减少了16倍； 在卫星测绘领域，探测精度从20米降低到2米，数据量减少70倍。 海量数据需要高性能存储，这是从HPC向HPDA演进需要解决的根本问题。
传统HPC存储主要用于文件共享和归档，而AI业务负载涉及数据采集、输入、清洗、训练、推理、归档等一系列复杂操作。 原有的存储系统并不是为这些存储工作流程设计的，自然很难满足新存储的需求。
在关键性能需求方面，传统HPC负载一般基于顺序大I/O类型，AI业务负载需要顺序大和随机小I/O类型的混合，AI训练的数据访问需要快速随机小I/O O型。
应用场景的变化对耐用性和弹性解决方案产生了各种需求。 例如，归档需要一个非常具有成本效益的解决方案，而没有严格的性能要求； 传统的临时性应用需要将临时性的结果转移到持久化存储中，这就需要高性能来避免故障； HPDA解决方案需要混合存储需求，同时满足高性能、瞬态存储和持久弹性存储的不同需求。
据悉，当存储系统变得复杂时，多个内部合约发展成为另一个障碍，不同的数据使用不同的访问方式。 每种访问方式都需要独特的合约支持，这会消耗业务负载中的通信时间和预估资源。 .
据IDC统计，全球67%的高性能计算中心（HPC）已经在使用人工智能和大数据相关技术。 HPC、AI、大数据加速融合，如何从海量数据中更高效、更经济地释放更大的数据价值成为迫切诉求，存储系统的变革至关重要。
为 HPDA 存储寻找新的平衡点
HPDA驱动存储架构的变化，进而匹配新业务负载、空间分布预估、存储需求的同步。 矛盾集中在不同的I/O模型、支持多合约访问、各种数据访问频率、高密度和高效设计等方面，归根结底是在存储性能、成本和性能之间找到新的平衡点。效率。
存储新模式2021年发布 华为全连接
华为发布9950和9550两款新品，华为系列高性能分布式存储是为打破HPC行业三重壁垒而量身打造的HPDA存储系统。
第一个障碍是高性能。 HPC面临不同流程阶段的带宽和OPS业务负载需求。 这种情况在 HPDA 场景中会变得更加正常。 传统存储只支持单一负载模型，造成性能孤岛。 的数据需要在不同的存储之间迁移，从而提高整体流程效率。
华为技术专家夏飞博士介绍，华为系列存储搭载了新一代分布式文件系统。 一套存储可以实现大文件高带宽的两倍，小文件高IOPS性能的五倍，大大提升了性能水平。 同时，文件系统还可以支持多种业务负载。 既能容纳客户原有的常规业务，又能很好地适应企业对大数据、AI等新业务的探索，实现混合负载的全场景加速。
第二个障碍是多合约无损互操作性。 在以人工驾驶为代表的HPDA场景中，文件、大数据、对象服务可能在不同的流程阶段使用。 如何在流程中实现高效的数据访问成为用户面临的问题。 大挑战。
华为系列存储也能满足多样化的算力需求。 一个系统支持多个合约，实现数据互通，减少中间环节。 此外，资源统一管理和维护，支持敏捷的业务响应。
第三道关卡是大容量。 随着HPDA的快速发展，海量数据的价值被进一步挖掘，用户愿意将数据保存更长时间。 这对机房空间、功耗和存储成本提出了新的挑战。
基于这些挑战，华为推出了全新系列的超高密硬件，支持不同硬件之间数据的手动分类，单位空间容量提升20%，全面提升HPC场景的存储成本。 华为Lacey系列大容量产品，5U空间支持120个3.5寸硬盘。 通过潍坊，可节省60%以上的机柜空间，让海量数据不再是负担。
越基础越核心
中石油东测正在通过HPDA挖掘数据价值。
自1840年代以来，人类利用最先进的理论和技术探索石油和天然气能源，其中高性能估算必不可少。 大量的高性能估计、海量数据分析等平台，不同架构、不同规模的数据存储什么是物理带宽，部署在不同的系统中。 数据需要在平台之间频繁传输和复制，导致额外的开销和不必要的时间消耗。
中国石油东方测井有限公司总裁级中级工程师、原数据中心总工程师赖能和在会上提到，以中东某勘探区为例，3259平方公里的3D洪水钻探，190万次爆破，采集数据量。 东方测井历时近12个月，圆满完成数据处理任务。 据了解，这也是迄今为止完成的最大的油气驱钻井数据处理项目。
存储驱动石油和天然气钻探
为了支撑如此庞大的数据处理，东方测井选择大规模、集中部署华为存储系统。 其天然适用的 HPDA 设计可以最大限度地用于钻井场景。 巨大的存储容量需求带来的挑战，同时也可以保证存储性能和容量的线性下降，同时简化IT基础架构的复杂性，减少IT日常运维的工作量。
“华为存储支持系统间远程直连、混合负载、多合约互通等功能，可以大大减少数据的时间和副本数量；同时满足高并发对性能的平衡需求大文件、高带宽、小文件高IOPS；可实现一套存储可被高性能估计、人机交互、数据解释、数值模拟、人工智能等多种不同技术应用平台共享，存储资源利用率提升30%以上；生产效率提升15%以上。 赖能和补充道。
越基础，越核心，无论是HPDA要解决的问题，还是存储技术的突破，都再次证明了这个论断。
不局限于油气钻探，从基因测序到人工驾驶开发，从天气预报到生物制药等，这个场景要么是新的复杂业务，要么是老技术解决不了的老问题。 它们有一个共同点——事关国计民生，解决问题的关键在于底层基础技术的突破。
华为存储支持顶尖的科研项目，同时这些科研项目的成果造福于最广泛的人群，比如天气预报的及时预警、新药的快速研发、人工驾驶汽车的算法升级、和存储升级。 基础设施革命的必然诱因，以及由此带来的变化，一点点传递到普罗大众的认知中。
（本文为钛媒体App首发，作者｜张帅）