行业资讯

聚量观察 | 索尼IMX500:服务资产数字化穿透的一种全新超级大脑

2020.06.19

导言:近日,索尼发布号称全球首款集成AI处理器的图像传感器。当图像传感器遇见AI会产生怎样的化学反应?具备AI处理功能的图像传感器有哪些应用场景?集成AI处理器的图像传感器如应用到产业的数字化领域中,给控仓、控货和控箱等传统物联网技术环节能带来哪些变化?本期聚量观察,将与您一起探讨这些问题。


具备AI处理功能


传感器巨头索尼新公布的具备AI处理功能的IMX500,宣称是全球首款集成AI处理器的图像传感器,融合了存储器和处理器的功能,无需借助外部硬件即可执行机器学习驱动的计算机视觉任务。


来源:索尼官网


IMX500的特别之处是由两个芯片构成,一个像素芯片(pixel chip )和一个逻辑芯片(logic chip),两者是堆叠结构。像素芯片负责获取像素信号,逻辑芯片主要功能则包括:传统图像传感器操作电路、处理图像信号的ISP(图像信号处理器)、处理AI信号的原装DSP(数字信号处理器)和AI模型存储器。而传统图像传感器只有像素芯片,没有具有AI功能的逻辑芯片。


在AI图像分析和处理功能的赋能下,IMX500不再需要高性能的处理器或者外部存储器,其本身已兼备处理器和存储器两者的功能于一身,输出的是元数据(metadata)。何为元数据?像素芯片记录的图像经过ISP在逻辑芯片上进行AI处理,直接提取属于图像数据的语义信息,而非图像信息,即:不输出图像,而输出描述,这就是元数据。举个例子,假如拍摄到一只猫在草地上,IMX500不用再把图像上传到云端或者附近的处理器计算,而是利用自带的逻辑芯片直接识别和分析,输出“猫”“草地”这些描述,抑或是根据要求只输出被要求报告的内容,比如只输出“猫”或者“草地”或者其他。这样一来,没必要或者不想要的数据就直接被抛弃了,极大降低对无谓的数据进行存储或者计算。


因此,可以看出,由于IMX500具备AI处理功能,不把图像或者视频上传到云端或者附近的处理器,而是在芯片上直接处理,一则速度可以更快:在设备上直接处理,时间不再用在路上,减少了数据往返的时间;再则安全可以更高:化整为零,图像信息不离开芯片,数据不再集中起来;三则成本可以更低:杀鸡焉用牛刀,少的数据本不需要云端或者附近比较大的处理器,节省算力。


与IMX500一起公布的还有IMX501,两者都是具备AI处理能力的智能视觉传感器,区别为前者只是裸机芯片产品,4月已经出货,后者则是封装产品,预计6月开始出货。


聚焦B端市场


新技术新产品一方面有利于索尼巩固市场地位,另一方面有助于索尼开拓新的市场。鉴于索尼的市场领先地位,这一技术有望走向众多的客户。根据日本调研公司Techno Systems Research(TSR)的数据,索尼2019年全球图像传感器市场占比近半,以49.1%的份额排名第一。手机品牌苹果即为索尼芯片的客户,索尼的传感器应用于苹果产品线。不过,按照索尼的想法,第一代AI图像感应器或许不会先应用于C端的智能手机和笔记本电脑等设备。相反,索尼将目标用户瞄准了B端的零售业和制造业。随着数字化的推进,这些行业已经开始更广泛地运用计算机视觉技术。


在宣布发布IMX500后不久,索尼即宣布与微软将就为共同客户提供智能相机解决方案合作:双方把微软Azure AI功能嵌入IMX500,从智能相机和其他设备的图像中提取有用信息;创建由Azure IoT和Cognitive Services支持的智能相机管理APP来完善IMX500,扩展和增强B端客户进行视频分析的范围和能力。此举有望为客户和合作伙伴开发新的视频分析机遇。用户还可以根据自身的具体需求在IMX500写入自选的AI模型。IMX500添加AI模型后可以使企业场景使用的相机更加智能,也可以使边缘和云端的资源分配更加有效,降低成本和能耗。


具备AI处理功能的图像传感器能够助力计算机视觉增强识别能力,处理更复杂的计算要求,产生更丰富的计算应用结果,扩大应用范围,包括安防、零售、仓储、工业等。例如,在零售店安装带有IMX500芯片的多个摄像头,单一类型的摄像头可以在不同的地点、时间、环境和目的下发挥多功能作用:安装在店门口,可用于统计、预测和追踪顾客;安装在货架上,可用于检测库存短缺;安装在天花板,可用于绘制客流热力地图,探测和分析人群聚集情况。当然,这些AI模型可以改写,比如从绘制客流热力地图改为识别消费者行为。


近年来,受益于AI融合发展和机器学习日益成熟,智能手机和监控探头等各种终端设备上的摄像头变得越发智能,不仅画质越来越好,而且能像人一样理解图像,包括照片和视频,识别人和物。现在,摄像头由于把数据发送到计算机而变得愈发智能;未来,摄像头本身或将成为计算机而变得更加智能。


智能控仓、控货、控箱看得清


产业数字金融综合运用各种科技手段穿透底层资产,实时监控、动态跟踪和多维分析底层资产情况,为资产数字化提供支持。在聚均科技易融星空平台,资产包内标的物实时监控,每一笔底层资产实时状况一手可获取,像IMX500一样具备AI处理功能的图像传感器可以用在控仓、控货和控箱,应用空间和价值巨大。


我们就目前索尼公开发布的产品功能来做分析,在对资产的数字化穿透过程中,IMX500就能有如下的全新功能:


穿透资产包,不但需要一双眼睛在看,还需要一个大脑会想。具备AI处理功能的图像传感器,既有一双在看的眼睛,又有一个会想的大脑,实时监控、智能分析、灵活应对、及时汇报,正是产业数字金融穿透资产包不可或缺的得力助手。


相信未来随着AI芯片处理功能的进一步不断提升,将会有更多更丰富的实时处理应用应运而生,在数字技术赋能下,资产的穿透程度必将越来越充分。


文章作者:  李万林(聚均科技综合管理中心)

图片编制:  曹蕾(聚量集团办公室)

版面编辑:  乔嘉男(聚量集团办公室)

上一篇:央行:目前正在研究编制金融科技发展规划的实施案例和指...

下一篇:聚量观察 | 不共享的共享:联邦学习可以解决数据共享问...

←返回列表