请选择 进入手机版 | 继续访问电脑版

网赚研究院-致富网赚论坛-网赚宝盒-华夏网赚论坛-28网赚-贵族网赚论坛-日付网赚联盟

 找回密码
 立即注册
查看: 62|回复: 0

倾城妖姬魅天下 澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面 霸情恶少调较小逃妻

发表于 2019-11-8 08:43 | 620 显示全部楼层 |阅读模式

[复制链接]

1万

主题

3万

帖子

6万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
69986
发表于 2019-11-8 08:43 | 显示全部楼层 |阅读模式
这是写在帖子头部的内容
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
作者 | Camel
编辑 | 唐里
申省梅教授是澎思科技首席科学家、新加坡研讨院院长。她持久努力于监控与平安、聪明城市、自动驾驶、智能呆板人以及AI 工场自动化打点计划等范围的相关技术的斥地安排和落地。
在10月中旬举行的 CNCC 2019 大会上,申省梅教授曾机关了「盘算机视觉技术赋能聪明城市」的技术论坛,其中包含 西湖大学李子青教授 等人皆作为演讲贵宾,分享他们的研讨内容。
申省梅教授作为主席兼演讲贵宾,带来了主题为《视频图像智能化助力聪明安防建立》的演讲,她以为当前由于巨量摄像头的存在并不停生产出海量的监控视频,假如想要更好地操纵、存储和检索视频图像,必须把视频图像智能化,将视频结构化和智能紧缩,只要这样才华做到事前预警、事中处置、事后分析。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
小我简介:申省梅,澎思科技(PENSEES)首席科学家、新加坡研讨院院长,前松下新加坡研讨院副院长。作为盘算机视觉与深度进修范围顶级科学家,带领超40人的算法研讨团队,获得十余项盘算机视觉范围国际顶级角逐冠军,累计专利300余项,努力于监控与平安、聪明城市、自动驾驶、智能呆板人以及AI 工场自动化打点计划等范围的相关技术的斥地安排和落地。曾团结新加坡国立大学LV组参加PASCAL VOC(视觉物体分类)持续三年获奖,在美国国家技术标准局(NIST)主办的非受限条件下人脸识别角逐IJB-A获得了人脸考证 (verification)与人脸识别(identification)的双项冠军,在微软百万名流识别角逐MS-Cele-1M人脸搬弄赛获双项冠军。
以下为申省梅教授演讲全文,AI 科技批评举行了不改变原意的编辑。
申省梅:
视频图像是从摄像头而来,就像我们的眼睛,我们看到了工具,但假如我们没有大脑来分析,图像就即是是没故意义的工具。
聪明城市包含着各个方面,从近来的落地来看,聪明安防、聪明交通、聪明社区远远走在了前面。那视频图像智能化能怎样助力于聪明安防建立?
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
纵观全部安防行业的成长过程,AI的发挥空间还有很多。我信赖大家也熟悉全部安防行业的成长,在座年轻人大要不太清楚,最早监控用的都是模拟摄像头,在中国模拟摄像头大要都不见了,但在此本国家还在大量地被操纵。下一个阶段,当数字相机出现今后,就出现了DVR;接着收集监控阶段出现了,当时候我们就叫NVR+收集软件数字相机;本日我们看到的高清摄像头、以及智能监控已经出现在各个利用处景中了。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
据英伟达猜测,到2020年全全国会有10亿个视频摄像头在操纵,另一个统计说中国现在已经有1.76亿个摄像头,3年以后大要会有6亿摄像头,也就是说均匀两小我一个摄像头。
对大量的视频,尽管我们有紧缩本事(视频流),但怎样存储、怎样旁观越来越成为一个困难?假如我们想从大量视频傍边快速地侦破一个事变,或检索一件事都变得很是困难。那能否是可以用野生智能来帮助打点这个题目,做到事前预警、事中处置、事后分析呢?
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
数据紧缩,究竟上是一种不做内容分析的紧缩,包含MPEG1/2、H.264、H.265,甚至现在的H.266,以及中国的紧缩标准AVS2/3。即使有这样的紧缩,但现在摄像头的像素越来越高,摄像头的数目越来越多,即使有5G的出现,有云真个存储,我们末端的DVR、NVR(即使是云真个存储)也都是一种物理的存储。这不像我们大脑,历来没有一小我说“我们的大脑放不下工具了,我的记忆力满了”这样的话。是以我们就问,什么时候野生智能能做到取代物理的存储?物理存储是一个空间,它是有范围性的。现在的一种做法就是视频图像智能化。

视频图像智能化

对视频图像智能化我们要做好几件事,都是基于图像的分析大白。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
第一,视频图像的规复增强,即在规复进程中怎样进步图像质量。
第二,视频图像的目标检测、跟踪、识别。这个我们可以做到事前预警、事中处置。
第三,视频结构化,它包含人脸属性、行人属性、车辆属性、非灵活车属性、以及各类物体的属性,每一个工具都有它的ID(都有它的属性),这些结构化的信息就会使事后检索分析变得更加方便。
第四,在智能化的时代,我们除了普通的图片和视频紧缩之外,能不能在视频内容大白的根柢上做智能紧缩。现在我们也在做智能紧缩,也在做视频摘要,这会让我们进一步节省存储的空间和传输的带宽。

1、视频图像规复增强

澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
适才讲到图像紧缩会形成图像含糊,实在还有很多方面城市形成图像的质量下降,比如装备用的不正当,例如你用了高清的摄像头,但你的lens用的不婚配,大要我们拍摄的时候,情况条件(比如灯光或天气)不太好。李子青教员讲过光芒对人脸形成很是大的影响,这几个题目城市让我们看到视频图像规复增强黑白常垂危的一关。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
分享一下我们近来的成果,对很是小的脸用的是“深度超分辨率技术”。传统的人脸识别在40×40以下就不成了;用上深度进修后大要会进步到30×30。
而我们的工作可以做到12×14(这是一个很小的脸),中心的成果是我们用深度进修的超分辨率方律例复了他的人脸识别,我们在人脸识此外库上检测发现,用了深度超分辨率今后,我们的人脸识别性能从0.75进步到0.97。
固然还有其他各类百般的含糊题目,我们也都在做,例如活动含糊、defocus的含糊等,我们渴望未来可以大要用单一的模块覆盖差此外含糊。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
其次是背光、低光的处置赏罚。这里有两个图,右侧这张图很黑,什么都看不清,当我们用低光处置赏罚后(如左图),内容便可以看到了。第二张图是做人脸识此外时候,假如你背后光芒很是亮,你站在那边拍照,经常会出现面部黑暗一片。我们用了背光处置赏罚,背光处置赏罚有差此外方式——传统的、深度进修的方式,在差此外硬件上、差此外场景下,我们会挑选差此外算法。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
图像增强也包含去发抖,比如起风时发抖引发来的图像含糊,以及去雾、去云、去雨的处置赏罚。
2、视频图像识目标检测、跟踪、识别
澎思科技的人脸识别和行人识别、车辆识别,以及非车辆(自行车、摩托车等)的识别都是我们的关键产物,在技术上面,我们要求黑白常高的。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
这是过去我带领的团队获得的成果,关于人脸识别,获得了NIST奖,以及微软百万名流脸识别搬弄赛的冠军。目标跟踪、行人检测、行人再识别也别离打破了全国记载。此外在PASCAL VOC(ImageNet前身),我们当时连着3年参加角逐,而且持续3年拿到冠军。交通很是检测、自动驾驶、以及智能呆板人,我们都有参加角逐拿到过冠军,盘算机视觉实在面特别广,它也用在智能呆板人,自动驾驶方面。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
我们近来在做跨摄像机的行人再识别ReID。在差此外摄像头里,偶然间有人脸出现、偶然间没有人脸出现,经过ReID的技术,即使在看不到人脸的情况下,我们仍可以经过行人的身段特征去判定这小我是谁。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
这是我们做的一些测试,黄色框中这小我底子连脸都看不到,他出现在差此外角落,但我们经过他身段的特征,会晓得这是同一小我,ID是55,此外一小我是ID25。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
7、8月份左右,我们在行人再识别三大数据集Market1501、DukeMTMC-reID、CUHK03,视频行人再识别三大数据集PRID-2011,iLIDS-VID,MARS,以及行人属性上都打破了全国记载。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
人脸识别,澎思更专注于静态捕捉下的人脸识别。监控相机没有法子约束条件,人脸的姿势、灯光的变化各类百般,还有含糊的情况。在这方面,近来澎思的模子在IJB-B和IJB-C下革新了记载。我们的客户也拿我们的模子去跟友商做了比对,可以看出性能远远超出友商的性能。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
李子青教员刚刚提到的ICCV的人脸识别角逐,我们在ICCV LFR搬弄赛的轻量级图像识别、大型图像识别和轻量级视频图像识别三项角逐中成果第一,一个角逐成果第二。
3、视频结构化
视频结构化适才也讲到了。当你事后想要从视频中检索一件事的时候,可以用视频的属性来检索。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
这是公安的需求。本来公安想要从一天的视频中找到想要的工具,要用肉眼来看视频,找一个工具,肯定一件事是什么时候发生的,最少要把全部录像看完才行;但是将视频结构化今后,几秒钟便可以找到想要的工具。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
澎思科技的视频结构化属性与目标参考了国标,比如对行人结构来说,我们支持27大项、128小项,这是属于业界第一的。9月份,澎思在行人属性三个数据库上也革新了全国记载。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
固然,在做的进程中也有很多困难,比如数据采集、以及数据长尾题目。长尾题目我们用了各类方式来打点,甚至用一些传统的图像处置赏罚方式,比如雨伞我们可以天生不同色彩的,其中也用了一些很inpainting的技术,也用了GAN来生产,比如最下面这小我脸的数据库不平衡,这个文章已经颁发。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
澎思也可以做到实时结构化预览、综合检索,以及以图搜图,甚至以图搜视频。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
在人脸属性上,除了性别、年龄之外,澎思的算法还包含有没有戴口罩、有没有眼镜等,共支持此外40多个差此外属性描摹。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
结构化也包含人、车一些行为的很是检测。很是包含交通的非!⒋蚣堋⑶澜佟⒕奂⑹卤洹⑽痰。2018年我们也在CVPR上的AI CITY CHALLENGE拿到了冠军。
4、视频内容的智能紧缩、视频摘要
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻
末端一个内容,讲一下视频内容的智能紧缩,视频摘要。鲁继文教员提到深度强化进修怎样来帮助我们的例子,在这个题目上,我们晓得很难用强化进修来做视频摘要和内容紧缩,由于你不晓得视频中哪一个行为是最关键、最垂危的。
所以,一个计谋就是在差此外情况下要有差此外考量,不但仅是从一帧上去考量,它是在时空域上的一个分析,所以我们采取时空域的特征,而且做到关键内容的保存、紧缩和摘要,按照差此外情况,有的时候可以做到10倍、100倍、甚至1000倍的紧缩。我们在紧缩的进程中属性同时会被记载下来,当将紧缩后的这一段视频存下来今后,会不停地将垂危的场景和行为存下来,而且对它的属性都有描摹。
视频图像智能化,究竟上还取决于图像质量的好坏,而图像质量的好坏又取决于全部软硬件系统的组成。比如说拍摄间隔是几多、相机的像素是几多、镜头怎样挑选、传输的方式是怎样样的、视频图像紧缩的方式等,这些城市影响到图像质量的好坏。所以我们说完善表示技术的上风还在于一个很SMART的打点计划,以及系统职员的培训。
在AI财富图谱中的技术层,澎思科技不停走在前面。我们的态度是对峙利用驱动的打点计划,贸易驱动的算法研讨,用最有用的算法和最经济的软硬体来打点客户的刚需。
是以我的结论就是,视频图像的智能化很是垂危。现在很多人都在用深度进修,假如是视频图像数据,就必定要举行结构化分析,这是一个条件。这个方面包含了很多技术,假如把这些技术都用好,我们便可以实现事前预警、事中处置、事后检索分析。我小我更想追求的一个偏向是节省存储空间、传输带宽、智能化的方式。
这个方面我信赖接下来大家会往这个方面多考虑,我们会有更好的发挥空间,感谢大家。
澎思科技首席科学家申省梅:视频图像智能化,打造完善有效的智慧安防局面  新闻

免责声明:假如加害了您的权益,请联系站长,我们会实时删除侵权内容,感谢合作!
感激您的阅读
回复

使用道具 举报

0条回复
跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2015 忽悠兄 X3.2 © 2001-2013 Comsenz Inc.

Archiver|手机版|小黑屋| Comsenz Inc.  |网站地图

快速回复 返回顶部 返回列表