NG体育对消费电子产品的AI改造,成为当前整个行业面临的最大课题,包括苹果在内的多个科技巨头均抛出杀手锏,意图抢占消费电子市场新热点,AI手机、AI PC无疑是热点中的热点。
在近日举办的2024年上海国际嵌入式展上NG体育官网app下载,全球第三大FPGA供应商Lattice(莱迪思)带着AI领域的最新应用亮相。作为消费电子的上游,FPGA芯片如何在AI功能上玩出新花样?
21世纪经济报道记者注意到,此次莱迪思展示了AI、汽车、工业相关的产品,其中最受市场关注的还是和AI相关的内容,有一项便是在PC领域的落地。
现场演示人员向记者介绍,今年莱迪思推出的sensAI方案是基于去年的注意力感知开发套装衍生的注视菜单新功能,可以通过操作者的眼神注视来进行电脑菜单的选择;另一个是脸部识别功能,可用于计算机自动解锁和安全保护。
莱迪思亚太地区应用工程高级总监谢征帆在接受21世纪经济报道记者采访时表示,“把AI识别功能引入到低功耗的FPGA,主要是减少对高功耗的GPU的调用。当下网络结构越来越复杂NG体育官网app下载,用FPGA方案先去做AI的前端处理,从资源调用上说更为经济。”
在GPU算力资源极其紧缺的情况下,FPGA低功耗的功能特性或可给业界突破算力瓶颈带来一些新的启发。
莱迪思去年参加嵌入式展时,展示了第一代SensAI方案,可在低功耗FPGA上实现前沿的神经网络算法,具备边缘AI计算能力,支持Intel最新的MTL平台,实现3D人脸识别、屏幕光自动调节、自动熄屏、人脸解锁等功能。
今年推出的SensAI方案在此基础上做了升级,堪称2.0版本,在实现人脸识别的功能之外,可实现注意力追踪。
严格来说,这一功能并不是最新的NG体育官网app下载。例如苹果此前发布的Vision Pro,可以无需借助控制器,只需要动动眼睛,APP图标会在你看他们时微微显现,捏合手指就能进行选择。
不过,与Vision Pro依靠硬件来实现注视跟随不同,莱迪思的SensAI方案提供的是纯软件功能。“两台演示电脑都有莱迪思的FPGA芯片,主要进行数据预处理,加入了一些AI功能,开发了注意力感知软件,通过观察瞳孔的方向来帮助实现控制。”谢征帆说。
他坦言,“注意力感知功能对环境等有一定要求,比如高光或者杂乱背景可能会产生干扰,我们还在做持续改进。现在也在探索其他应用场景,比如AR眼镜,戴上后脸部不会有杂光或背景干扰,就有非常高的精确度和控制,提供较好的应用性。”
为什么要通过软件功能来实现?这就不得不提FPGA低功耗的特性。莱迪思方面介绍,“通常CPU算力功耗在几瓦或十几瓦,利用FPGA器件的消耗是百毫瓦,这是数量级的差别。”
除了AI功能升级NG体育官网app下载,莱迪思也在拓展AI功能在更多垂直领域的落地。其在现场还演示了农业智能机器案例,即AI在农业领域的应用。
所谓的农业智能机器,就是色选机方案,完成对花椒的筛选。“当落下来一批固体时,这个机器先要把和花椒形状一致的东西挑选出来,下面的喷嘴进一步识别,如果发现不是花椒,喷嘴就会提供气流把东西吹掉。”谢征帆介绍说,“传统色选机精度较低,很多客户开始采用AI方案来实现。AI会对花椒的物体形状进行标注,然后放到神经网络里训练,训练之后把参数放到机器中,就可以实现筛选功能。美国也有类似的方案,比如农业除草机,下面有传感器来判断是杂草还是作物,如果是杂草,就通过激光除掉。”
自去年AI大热以来,一众FPGA厂商就在加速AI领域的布局。早在2021年,莱迪思就收购了一家AI软件公司Mirametrix。2023年,莱迪思在AI方面的收入已经超过了1亿美金,这包括在人工智能服务器端、直接提供的人工智能功能和其他相关的业务收入。
在莱迪思的展台分布来看,其对汽车应用也着了诸多笔墨,从中可管窥当下汽车电动化的趋势。
值得注意的是,连续两年,莱迪思都展出了一种名为Camera Monitor System(CMS)的方案,即摄像头监控方案。从应用上来看,其主要是应用是汽车反光镜。
在汽车结构中,物理光学反光镜会有很大的限制,例如在雨天会受到雨水影响,或潮湿天气下车窗起雾,从而影响驾驶安全。当下越来越多的车厂考虑用摄像头来替代物理的光学反光镜,这就是CMS系统。
当下汽车电动化如火如荼,对传统光学器件的替代,已经有不少厂商涉足,作为一家FPGA厂商,莱迪思有何优势?
谢征帆表示,“从硬件结构上说,汽车设计中对功耗和尺寸有比较强的需求。汽车中尺寸多样,有些镜头集中在两端,尺寸空间非常小,对芯片的尺寸要求也会非常高。另外芯片做小之后就要面临散热问题。莱迪思一直在追求小尺寸和低功耗方案,这是我们的优势。”
他介绍,由于汽车对安全性要求非常高,莱迪思还会帮助客户通过功能安全的认证,其CMS方案已经与中国主要的头部汽车Tier 1厂商建立了合作,短期内就可以看到莱迪思方案的实际落地NG体育官网app下载。
当然,CMS设计也面临着一定挑战。谢征帆表示,“由于光学成像和摄像成像之间存在一定的差异,特别是摄像头帧数、延时的影响,尤其是红绿灯本身也是LED,二者频率如果没有匹配上,通过摄像头观察红绿灯就会出现滚动的现象。另外在夜晚驾驶时,如何应对强光照射、昏暗环境,都需要通过系统设计中的ISP模块来解决。”
以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至,我们将安排核实处理。