充分利用人工智能,实现更为高效的下一代数据存储

发布于:2019/4/18 10:45:30 | 540 次阅读

  如今,数据生成的速度远超人们的想象。在以前,人是数据产生的主要来源;而现在,图像设备、传感器、无人机、互联汽车、物联网设备及工业设备组件等,以多样的途径生成各类格式的数据。 然而,我们不应该将数据与信息混为一谈,对两个概念进行区分至关重要。
  从价值角度衡量,目前仅有一小部分已收集数据可称作是真正的资产。以图像处理设备为例,一分钟时长的相关活动于此至关重要,而非长时间的无关紧要的视频片段。以此类推,如果将“数据”比作矿山,人人想要挖掘的金块就是“信息”。将该类数据转变成有价值信息的能力(所谓“挖掘”)称为“分析”。

  图 1: 2009 年至 2020 年数据存储需求涨幅
  图 1 所展示的图表由分析公司 Statista 绘制,显示了过去十年间数据存储容量呈现惊人的增长。据预测,截止 2020 年,存储需求将达到 42,000 EB以上。但是,绝大多数的数据存储(大多数估算显示占比至少为 80%)毫无结构化可言,在使用这类数据进行分析时,无疑会带来诸多困难。据估计,仅有 5% 的数据存储可以真正用于分析。如果有一种方式可以使用元数据在执行分析的环境中有效描述这类非结构化数据,则可以用来分析的数据量将显著增加,企业所拥有的数据可产生的价值将得到大幅提升。
  人工智能 (AI)是对现代社会的各个领域带来重大影响的技术,这些领域包括电子商务、自然语言翻译、金融科技、安全、目标识别/检测乃至可快速确认危及生命癌细胞位置(或其他异常症状)的医学领域。尽管应用领域多样,但它们都有一个共同点:能通过采用一项可高效扫描大量非结构化数据(视频、文本、声音、图像等)并对其进行处理的技术,从而获取真正的价值。
  具体而言,Marvell 不仅可以利用人工智能技术执行分析过程,还可以通过此技术前置处理非结构化的原始数据,以便为其提供标记的元数据,从而采用简单又准确的方式表示这类数据。通过上层分析软件可以分析此简化版数据库并从中收集有用的信息。在此之前,企业一直期盼通过人工智能技术从其存储的数据中发掘更多的价值,但却始终毫无头绪。
  基于上述情况,Marvell 希望生成的元数据能够提升分析软件运行效率,并且将人工智能技术作为从大量非结构化数据库中创建元数据库的工具。现在只需要将大量数据导入人工智能计算机中进行处理即可。但是,这是否真的是正确的方法?如果考虑到现在生成和存储数据的两种主要方式,即“云端” (‘the Cloud’) 和“边缘设备”(‘the Edge’),可以很快联想到移动这些大量数据将产生昂贵费用。有了新技术,这些可以得到有效解决。在云端传输大量数据,会对数据中心构建网络的基础设施带来压力,并会消耗大量电力及增加延迟水平,从而延长了整体处理时间。对于边缘设备而言,不同之处在于可用的计算机和电力资源有限。由于所在位置的小型设备的网络功能限制,因此无法将大量数据上传至云端。在这两种情况下,化操作效率的关键在于尽量减少移动数据量并使用元数据取而代之。
  在来源处(例如存储设备中的数据存储位置)分配元数据会比四处转移数据更为高效。固态硬盘 (SSD)已经包含作为计算机实体所需的基本元素。这些设备通常只能用于与硬盘相关的操作,但也可以转换其用途,用于与功能相关的任务以及负责标记处理,或通过集成式硬件/软件/固件模块的辅助,实现上述功能。其中的一种操作模式为使用空闲的硬盘窗口执行后台映射任务,另外一种方式则为写入硬盘数据时同时对其进行处理。如果在存储位置部署这种加速方式并应用于正确的用例中,其益处不仅在于节约电量及费用,还可以尽量减少数据移动并大幅降低延迟,以及降低整体网络流量。此方式固有的可扩展性意味着企业和云服务提供商利用人工智能技术可扩展其业务范围。
  去年八月在美国圣克拉拉举办的闪存峰会(Flash Memory Summit)上,Marvell 发表了极具开创性的 AI SSD概念验证控制器,展示了如何在不需要访问主机 CPU 处理资源的情况下,有效执行数据标记,同时避免上述提及的费用和延迟问题。Marvell 现场向参会者展示了 Marvell 数据中心及使用开源 NVIDIA 深度学习加速器 (NVDLA) 技术的客户端 SSD 控制器 IC 如何继承受过训练的人工智能模型,将其编译到集成式人工智能推断IP,以及在硬盘中扫描存储于本地的非结构化数据的大型数据库(例如视频库)。由此可生成标记并在搜索环境中创建可代表数据的元数据库。
  如果将检测和识别物体或场景作为目标,人工智能推断引擎可扫描存储于硬盘的视频文件,并创建可列出其出现时间点的元数据。基于这项新型人工智能增强存储技术,可在固态硬盘中本地存储元数据库并可供分析软件使用。当执法机构在时长无休止的视频文件中寻找可疑点时,他们可以加载受过训练的模型。该模型能够准确辨别上述可疑点并可在所有适用的视频内容中进行推断,此类推断可作为后台任务运行于所有存储视频内容的硬盘中。这种方式可以记录及标记上述可疑点的踪迹,更易于后续进行深入分析。
  同样,此架构会使类似于后台聊天机器人 (ChatBot)的分析更为高效,此类分析涉及需要扫描聊天机器人通话的大型数据库以便改善服务质量。通过上述做法,可以判断用户在何时对其收到的回复感到满意/生气,或者通话时长是否合适等。创建可追踪这些判断标准的人工智能模型后,则可将这些标准编译到人工智能存储推断引擎内,并离线扫描通话。对于类似于电视点播(VOD)服务的个性化广告插入、人物/物体搜索及利用数据近似度的各种密集型输入/输出 (IO-intensive)用例,其也可带来明显的性能优势。
  在无需昂贵的定制化 IC 的情况下,Marvell 首创的人工智能 SSD 控制器技术展示了如何执行新型数据存储架构以处理难以计算的“大数据”相关应用程序的扩数据阵列。通过向市场中已有的固态硬盘硬件提供更为智能化的附加逻辑的访问,可直接处理对下一代分析工作负载至关重要的元数据和标记,而无需连接专属处理资源。
  遵循这种依赖传统集中式处理的替代策略,可使整个过程更为高效。只需占用最少的可用网络带宽,并且不会发生瓶颈问题。将人工智能加速器直接集成到具有成本效益的固态硬盘控制器 IC 中,可快速完成分析任务,不仅可以减少处理容量及降低相应的电费预算,还可以完全避免从头开发专属集成电路芯片(ASIC)的需求。可编程架构的使用为更新所用人工智能模型带来诸多便利条件,以便在开发新用例时随时解决任何问题。
    关于 Marvell
  Marvell率先以超出想象的速度传输信息,从而为数字存储行业带来全新变革。今天,突破性创新仍然是Marvell存储、处理、网络、安全和连接解决方案的。凭借的知识产权和深厚的系统级知识,Marvell 基础设施半导体解决方案不断为企业、云、汽车、工业和消费类市场带来变革。

参与讨论
后参与讨论

//评论区

推荐阅读

智能网联汽车国际标准法规协调专家组(HEAG)召开工作会议

近年来智能网联汽车快速发展,新技术不断涌现,与相关产业融合度持续提升,正在推动全球汽车产业发生深刻变革。为应对此种形势,欧、美、日等汽车工业发达国家和地区都加大了智能网联汽车的国际标准法规协调的参与力度,在联合国世界车辆法规论坛(UN/WP.29)和国际标准化组织(ISO)层面,智能网联汽车相关国际标准法规协调活动正快速推进。 为更有效地支撑上述组织的国际标准法规协调活动,2017年全国汽车标准

0215jiejie | 发布于:2022-12-01 0评论 0赞

苹果推出搭载M2芯片的新款iPad Pro 799美元起售

据苹果官网,苹果推出搭载M2芯片的新款iPadPro。 11英寸wifi版起售价为799美元,wifi+蜂窝网络版起售价为999美元;12.9英寸wifi版起售价为1099美元,wifi+蜂窝网络版起售价为1299美元。

0215jiejie | 发布于:2022-10-19 0评论 0赞

新能源汽车领衔 “中国智造”加速登陆欧洲市场

全球五大车展之一巴黎车展时隔四年再度启幕。在这场被视为“全球汽车行业风向标”的盛会上,国内外汽车品牌云集,长城汽车、比亚迪等再次领衔中国汽车出海。 长城汽车欧洲区域总裁孟祥军表示:“欧洲是长城汽车最重要的海外市场之一,巴黎车展是长城汽车向欧洲市场展示GWM品牌和产品的最佳机会。长城汽车正在研究汽车行业碳排放的整个生命周期,到2025年,将推出50多款新能源产品,全力支持可再生能源使用,为全球用户

0215jiejie | 发布于:2022-10-19 0评论 0赞

严监管时代来临,电子烟“通配”大战走向何方?

针对通配烟弹厂商的一系列诉讼的结果,将对生产通配烟弹的品牌未来在电子烟行业的发展产生深远影响。 10月1日,《电子烟强制性国家标准》正式实施,中国电子烟监管全面生效。而在电子烟行业进入规范化、法治化阶段前夕,一场围绕着通配烟弹的争论在行业里发酵。 “通配”是电子烟从业者约定俗成的概念。换弹式电子烟由烟杆和烟弹组成,“通配”烟弹指的是非品牌商生产、可与品牌烟杆匹配使用的烟弹。多位业内人士表示,被

0215jiejie | 发布于:2022-10-19 0评论 0赞

Bourns 全新大功率分流电阻器

采用金属感应引脚,专用于大电流应用中进行精确测量 全新分流电阻器专为电池管理系统、大电流工业控制和电动汽车充电站 提供高可靠性、高成本效益的解决方案 美国柏恩Bourns全球知名电子组件领导制造供货商,宣布新增12款CSM2F系列功率分流电阻器,扩展其产品组合。全新系列采用铆接通孔金属传感引脚,可满足大电流应用中对电压测试点精确定位日益增长的需求。最新型Bourns?CSM2F系列分流电阻器

0215jiejie | 发布于:2022-10-18 0评论 0赞

请尊重元宇宙“这个筐”

元宇宙是个筐,啥都往里装,但区别在于有的像聚宝盆,有的像垃圾桶。国庆假期刚结束,中青宝“90后”董事长李逸伦便亲自上阵,玩起了元宇宙婚礼。靠着老板首秀和代言,中青宝顺势推出“MetaLove元囍”App,正式进军元宇宙婚礼赛道。 就产品而言,如同其他元宇宙产品,李逸伦的元宇宙婚礼“新奇与吐槽齐飞”:有人说是有趣的尝试,有人则认为像QQ炫舞结婚系统。要知道,QQ炫舞是一款推出了十余年的老游戏。

0215jiejie | 发布于:2022-10-13 0评论 0赞

边缘计算:突围商业模式痛点

截至8月末,中国5G基站总数达210.2万个,中国5G发展已经进入下半场。随着5G加速融入千行百业,互动直播、vCDN、安防监控等场景率先大规模落地,车联网、云游戏、工业互联网、智慧园区、智慧物流等场景也快速走向成熟,这些更大流量、更低时延、更高性能的场景涌现,对边缘计算的刚性需求势必爆发。 GrandViewResearch预测,即使在新型冠状病毒肺炎疫情肆虐全球的背景下,边缘计算和5G网络市

0215jiejie | 发布于:2022-10-13 0评论 0赞

商务部回应美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”

商务部新闻发言人10日就美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”应询答记者问。 有记者问:近日,美国商务部在半导体制造和先进计算等领域对华升级出口管制措施。同时,在将9家中国实体移出“未经验证清单”过程中,又将31家中国实体列入,请问中方对此有何回应? 对此,商务部新闻发言人回应称,中方注意到相关情况。首先,通过中美双方前一阶段共同努力,9家中国实体zui终

0215jiejie | 发布于:2022-10-13 0评论 0赞

TCL华星官宣与奔驰合作:推出全球首款横贯A柱的车载显示屏

今年1月,奔驰带来了VISIONEQSS概念车,其中控台采用了一块完全无缝的47.5英寸曲面显示屏,横贯整个A柱,令人印象深刻。今天,TCL华星正式官宣与奔驰达成合作,并认领了VISIONEQSS上这块全球首款横贯整个A柱曲面的车载显示屏。 根据TCL介绍,这款显示屏采用了完全无缝的超薄一体化设计,将仪表盘、中控与副驾娱乐显示融为一体,并能够与3D实时导航系统相辅相成。 同时,这块显示屏还采用

0215jiejie | 发布于:2022-10-12 0评论 0赞

半导体板块暴跌 谁最受伤

国庆假期后首日开盘,上证综指时隔5个月再次失守3000点,与此同时,半导体板块也再度走低,其中,北方华创、雅克科技等个股跌停。10月11日早盘期间,半导体板块持续下挫,北方华创、雅克科技再度跌停。截至下午收盘,北方华创、雅克科技维持跌停状态,华海清科、拓荆科技-U、盛美上海、清溢光电、海光信息的跌幅则超10%。同日,半导体板块中的119只个股中超五成呈现下跌趋势。 在半导体板块遭遇下挫的同时,北

0215jiejie | 发布于:2022-10-12 0评论 0赞