AI演算法进展速度超越摩尔定律

发布于：2018/10/10 9:49:41 | 916 次阅读

[转载]原文链接：

　　在1980年代的处理器上执行目前的演算法，与在目前的处理器上执行1980年代之演算法，哪一种可以算得更快？答案令人惊讶，通常是在旧处理器上执行新演算法能算得更快。虽然摩尔定律(Moore's Law)因为是电子产业快速发展的驱动力而备受关注，但它只是驱动力的其中之一，我们经常忘记演算法的进展速度其实在很多情况下都胜过摩尔定律。
　　根据德国柏林工业大学教授、知名数学家Martin Gr?tschel的观察，在1988年需要花费82年才能算出解答的一个线性程式设计问题，在2003年只需要1分钟就能解决；在这段时间，硬体的速度快了1,000倍，演算法的进步则达到4万3,000倍。
　　美国麻省理工学院(MIT)教授Dimitris Bertsimas的类似研究结果显示，在1991年至2013年间，混合整数求解器(mixed integer solvers)演算法速度快了58万倍，同时间超级电脑的硬体速度只有进步32万倍。据说类似的结果也发生在其他类型的约束化(constrained optimization)问题和质因数分解(prime number factorization)问题中。
　　这对人工智慧(AI)意味着什么？
　　过去五年来，AI无论在学界、业界或是新创领域都呈现爆炸性发展，的转折点可能是发生在2012年，当时一个来自加拿大多伦多大学(University of Toronto)的团队AlexNet，利用深度学习方法一举赢得了年度电脑视觉影像辨识大赛ImageNet Large Scale Visual Recognition Challenge (ILSVRC)，自此深度学习就成为实现AI的关键方程式。
　　电脑视觉的演进已蔓延至自然语言处理和其他AI领域。智慧喇叭、即时电脑翻译、机器人对冲基金(robotic hedge funds)，以及web参考引擎(web reference engines)…等等新产物，已经不会再让我们感到惊讶。
　　AI也成为了交通运输产业的驱动力(这也是Autotech Ventures的投资标的之一)；我们已经观察到，先进驾驶辅助系统(ADAS)、自动驾驶、车队检测(fleet inspection)、制造品质控制，以及车载人机介面等等应用领域具备庞大的发展潜力。到目前为止，我们已经投资了几家在诸如ADAS、自动驾驶、视觉检测与边缘运算等应用领域开发AI解决方案的新创公司，在分析这些商机时，演算法和硬体之间的交互作用是我们进行投资决策时的关键考虑因素之一。
　　大众对AI硬体的关注
　　基于深度学习的AI在其转折点之后，出现了对绘图处理器(GPU)的强劲需求。由于具备很强的平行运算能力，GPU对于深度学习演算法所采用的逻辑碰巧能展现惊人效率；GPU大厂Nvidia在市场竞争中脱颖而出，其股价从2013年到2018年上涨了20倍。
　　当然，Nvidia竞争对手们正在努力追赶；高通(Qualcomm)、Arm和其他公司将注意力集中在AI晶片设计上，英特尔(Intel)则收购了AI晶片新创公司Nervana Systems。Google、Facebook、苹果(Apple)和亚马逊(Amazon)纷纷投入了为自家资料中心及其他计画开发自有AI处理器，也有一些新创公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看准商机，试图设计更好的图灵机(Turing machine)系统。像D-wave Systems和IBM等其他一些公司也在积极探索后图灵时代的架构。大多数晶片开发的目标是赶上或超过Nvidia。然而，据我们所知，大多数处理器都是针对今日的AI演算法进行设计。
　　尽管需要庞大的前期开发成本，我们仍将经历各种AI晶片设计的「寒武纪大爆发」。AI前景如此诱人，让产业玩家愿意投入巨资开发硬体，在以往是要让硬体与基础数学演算法匹配，但对于让现有半导体晶片或正在开发的新运算架构能与未来的演算法契合，我们有多大的信心？
　　有鉴于演算法的演进速度和幅度变化是如此之快，许多AI晶片设计可能还没上市就过时了；我们推测明日的AI演算法可能会需要完全不同的运算架构、记忆体资源，以及资料传输能力等等条件。
　　尽管深度学习框架已经出现很长一段时间，直到最近才真正被付诸实现，这要感谢摩尔定律所预测的硬体技术进展。最初的数学不一定是为工程实践而设计的，因为早期研究人员无法想像今日花1,000美元就能获得的运算能力有多么大。现今许多AI实作都是使用原始的数学模型，朝着准确、简单且更深层的方向发展，或者添加更多资料；但这样只会很快消耗GPU的运算容量。只有一小部分研究人员专注于改善基础数学和演算法框架的难题。
　　还是有很多机会认识并利用这些新颖的数学进展，我们所观察到的方法包括精简冗余数学运算(redundant mathematical operations)而减少运算时间，将卷积压缩到较小的矩阵而减少记忆体需求，或者对加权矩阵进行二值化(binarize)而简化数学运算。这些是演算法演进的次尝试，其发展之快已经开始超越硬体进展。
　　举例来说，从美国加州大学柏克莱分校(UC Berkeley)研究专案独立的DeepScale ，就是将应用于ADAS和自动驾驶的AI，「塞进」车用晶片(不是GPU)，与仅采用演算法的物体检测模型相比较，他们的神经网路模型的运算速度要快30倍，同时在功耗和记忆体占用方面也有很大的提升，足以在这几年问世的现有硬体上执行。
　　另一个演算法大跃进的案例来自美国的非营利研究机构艾伦人工智慧研究所(Allen Institute of Artificial Intelligence)，该机??构研究人员采用一种利用神经网路二值化的创新数学方法，已经证明可以大幅提高速度，同时降低功耗和记忆体要求；如此甚至能让的深度学习模型布署于售价仅5美元的Raspberry Pi平台上。研究人员最近将这种演算法和处理工具独立为一家公司XNOR.ai，旨在于边缘装置布署AI，并进一步推动AI演算法的进步。
　　有趣的是，新的二值化框架从根本上改变了处理逻辑的类型，它们不再需要解决神经网路所需的32位元浮点卷积，而只需要进行位元计数运算( bit counting operations)——这将改变GPU领域的权力平衡。此外如果这些演算法与专门设计的晶片相匹配，则可以进一步降低运算资源需求。
　　演算法的进步不会停止；有时需要数年甚至数十年才能发明(或者说是发现)新的演算法。这些突破无法以与摩尔定律推动的运算进展相同之方式来预测。它们本质上是非确定性的；但是当它们发生时，整个局势变化通常会让现有的主导者变成脆弱的猎物。
　　黑天鹅效应
　　书《黑天鹅效应：如何及早发现最不可能发生但总是发生的事》(The Black Swan: The Impact of the Highly Improbable)的作者在书中阐明，决策在很大程度上取决于分析过程是不可预测或不确定；换句话说，我们是在处理「已知的未知」(known unknowns)还是「未知的未知」(unknown unknowns)？演算法创新基本上是未知的未知，因为它们的发现时间不确定以及影响不可预测，押注于这类发展需要持续的关注。
　　然而，在应用数学领域，尤其是AI应用领域，在最近二十年内出现了数次颠覆性的演算法发现，它们与GPU一起，将AI从一个不起眼的研究领域带到了商业化最前线。
　　我们意识到这些运算领域「黑天鹅」的潜力，它们将使现有晶片架构成为过去，或者在一夜之间让它们的市场地位重新洗牌。对我们来说，这些「黑天鹅」可能会实现更安全的自动驾驶车辆，以及许多其他未知的应用案例。

参与讨论

登录后参与讨论

//评论区

推荐阅读

智能网联汽车国际标准法规协调专家组（HEAG）召开工作会议

近年来智能网联汽车快速发展，新技术不断涌现，与相关产业融合度持续提升，正在推动全球汽车产业发生深刻变革。为应对此种形势，欧、美、日等汽车工业发达国家和地区都加大了智能网联汽车的国际标准法规协调的参与力度，在联合国世界车辆法规论坛(UN/WP.29)和国际标准化组织(ISO)层面，智能网联汽车相关国际标准法规协调活动正快速推进。为更有效地支撑上述组织的国际标准法规协调活动，2017年全国汽车标准

0215jiejie | 发布于：2022-12-01 0评论 0赞

苹果推出搭载M2芯片的新款iPad Pro 799美元起售

据苹果官网，苹果推出搭载M2芯片的新款iPadPro。 11英寸wifi版起售价为799美元，wifi+蜂窝网络版起售价为999美元；12.9英寸wifi版起售价为1099美元，wifi+蜂窝网络版起售价为1299美元。

0215jiejie | 发布于：2022-10-19 0评论 0赞

新能源汽车领衔 “中国智造”加速登陆欧洲市场

全球五大车展之一巴黎车展时隔四年再度启幕。在这场被视为“全球汽车行业风向标”的盛会上，国内外汽车品牌云集，长城汽车、比亚迪等再次领衔中国汽车出海。长城汽车欧洲区域总裁孟祥军表示：“欧洲是长城汽车最重要的海外市场之一，巴黎车展是长城汽车向欧洲市场展示GWM品牌和产品的最佳机会。长城汽车正在研究汽车行业碳排放的整个生命周期，到2025年，将推出50多款新能源产品，全力支持可再生能源使用，为全球用户

0215jiejie | 发布于：2022-10-19 0评论 0赞

严监管时代来临，电子烟“通配”大战走向何方？

针对通配烟弹厂商的一系列诉讼的结果，将对生产通配烟弹的品牌未来在电子烟行业的发展产生深远影响。 10月1日，《电子烟强制性国家标准》正式实施，中国电子烟监管全面生效。而在电子烟行业进入规范化、法治化阶段前夕，一场围绕着通配烟弹的争论在行业里发酵。 “通配”是电子烟从业者约定俗成的概念。换弹式电子烟由烟杆和烟弹组成，“通配”烟弹指的是非品牌商生产、可与品牌烟杆匹配使用的烟弹。多位业内人士表示，被

0215jiejie | 发布于：2022-10-19 0评论 0赞

Bourns 全新大功率分流电阻器

采用金属感应引脚，专用于大电流应用中进行精确测量全新分流电阻器专为电池管理系统、大电流工业控制和电动汽车充电站提供高可靠性、高成本效益的解决方案美国柏恩Bourns全球知名电子组件领导制造供货商，宣布新增12款CSM2F系列功率分流电阻器，扩展其产品组合。全新系列采用铆接通孔金属传感引脚，可满足大电流应用中对电压测试点精确定位日益增长的需求。最新型Bourns?CSM2F系列分流电阻器

0215jiejie | 发布于：2022-10-18 0评论 0赞

请尊重元宇宙“这个筐”

元宇宙是个筐，啥都往里装，但区别在于有的像聚宝盆，有的像垃圾桶。国庆假期刚结束，中青宝“90后”董事长李逸伦便亲自上阵，玩起了元宇宙婚礼。靠着老板首秀和代言，中青宝顺势推出“MetaLove元囍”App，正式进军元宇宙婚礼赛道。就产品而言，如同其他元宇宙产品，李逸伦的元宇宙婚礼“新奇与吐槽齐飞”：有人说是有趣的尝试，有人则认为像QQ炫舞结婚系统。要知道，QQ炫舞是一款推出了十余年的老游戏。

0215jiejie | 发布于：2022-10-13 0评论 0赞

边缘计算：突围商业模式痛点

截至8月末，中国5G基站总数达210.2万个，中国5G发展已经进入下半场。随着5G加速融入千行百业，互动直播、vCDN、安防监控等场景率先大规模落地，车联网、云游戏、工业互联网、智慧园区、智慧物流等场景也快速走向成熟，这些更大流量、更低时延、更高性能的场景涌现，对边缘计算的刚性需求势必爆发。 GrandViewResearch预测，即使在新型冠状病毒肺炎疫情肆虐全球的背景下，边缘计算和5G网络市

0215jiejie | 发布于：2022-10-13 0评论 0赞

商务部回应美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”

商务部新闻发言人10日就美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”应询答记者问。有记者问：近日，美国商务部在半导体制造和先进计算等领域对华升级出口管制措施。同时，在将9家中国实体移出“未经验证清单”过程中，又将31家中国实体列入，请问中方对此有何回应？对此，商务部新闻发言人回应称，中方注意到相关情况。首先，通过中美双方前一阶段共同努力，9家中国实体zui终

0215jiejie | 发布于：2022-10-13 0评论 0赞

TCL华星官宣与奔驰合作：推出全球首款横贯A柱的车载显示屏

今年1月，奔驰带来了VISIONEQSS概念车，其中控台采用了一块完全无缝的47.5英寸曲面显示屏，横贯整个A柱，令人印象深刻。今天，TCL华星正式官宣与奔驰达成合作，并认领了VISIONEQSS上这块全球首款横贯整个A柱曲面的车载显示屏。根据TCL介绍，这款显示屏采用了完全无缝的超薄一体化设计，将仪表盘、中控与副驾娱乐显示融为一体，并能够与3D实时导航系统相辅相成。同时，这块显示屏还采用

0215jiejie | 发布于：2022-10-12 0评论 0赞

半导体板块暴跌谁最受伤

国庆假期后首日开盘，上证综指时隔5个月再次失守3000点，与此同时，半导体板块也再度走低，其中，北方华创、雅克科技等个股跌停。10月11日早盘期间，半导体板块持续下挫，北方华创、雅克科技再度跌停。截至下午收盘，北方华创、雅克科技维持跌停状态，华海清科、拓荆科技-U、盛美上海、清溢光电、海光信息的跌幅则超10%。同日，半导体板块中的119只个股中超五成呈现下跌趋势。在半导体板块遭遇下挫的同时，北

0215jiejie | 发布于：2022-10-12 0评论 0赞

unionblog

关注