当好人用了不良数据,当坏人用了好数据 | 人脸识别与AI伦理

发布时间:2019/09/25 00:00      浏览:26
作者:Benedict Evans
来源:36Kr

我们对脸部识别的担忧就像对数据库的担忧一样——我们担心里面含有不好的数据会怎么样,我们担心会被坏人利用。



我们对这个问题的看法容易陷入二元论。但其实这里面有很大一块的灰色地带,我们还没有就什么是“不好”达成明确共识,也不知道我们是不是担心过头,因为这不仅仅是新的,我们不熟悉的东西,而且因为那是不一样的东西。


跟机器学习很像,脸部识别识别正迅速成为很多人都可以并也会用于开发各种东西的商品化技术。“人工智能伦理”委员会也许可以顶一下子,但不会是完整的解决方案,而且监管(会采取多种形式)会更进一步。但中国公司有自己的道德委员会,并且已经出口他们的产品。


早在20世纪70、80年代初时,科技行业就创造出了一种变革性的新技术,为政府和企业提供了前所未有的跟踪,分析和理解我们所有人的能力。关系数据库意味着在理论上小范围内有可能的事情第一次变得在实际上具有大规模的可能性。大家都很担心这个问题,并且写了很多这方面的书。

很多书都表达了对数据库的担忧


具体来说,我们担心这两种问题:


  • 我们担心这些数据库会包含不良数据或错误假设,尤其是它们可能会无意间把我们社会存在的成见和偏见编码进机器里面。我们担心大家会把事情搞砸。


  • 而且,我们担心大家会故意开发和利用这些系统来做坏事。


也就是说,我们担心如果这些系统不能正常工作会怎么样,我们也担心如果它们能够正常工作的话又会怎样。


我们现在就AI(或更恰当地说是机器学习)展开的对话大致也是这样,尤其是因为有了机器学习才成为可能的人脸识别的问题。而且,我们在担心同样的事情——我们担心如果它不起作用会怎么样,我们担心如果它起作用又会怎样。我想,我们也在尝试着弄清楚这个在多大程度上属于新问题,我们对它的担心有多少,以及为什么我们要担心。


首先,“当大家把事情搞砸了”。


当好人用了不良数据时


大家对数据库的看法错了。我们大概都听说过关于税局不同版本的老笑话,说的是他们把你名字写错了之后让你改名字还容易过改正那个错误。还有一个完全不是笑话的问题,那就是你跟通缉犯同名,然后总是被警察拦住,或者你的名字跟恐怖分子的一样,然后被列入了禁飞名单或者更糟。还有一件事,今年春天,一名安全研究人员声称自己注册了“NULL”作为自定义的驾照地址,结果现在收到了数百张乱停车的罚单。


这些故事说明了三个不同的问题:


  • 系统可能包含不良数据(名字拼写错误)......


  • 或者有bug或者对其如何处理有错误假设(无法将“Null”当作名称处理,或“Scunthorpe”触发猥亵过滤器)


  • 还有,系统被未经培训、不按流程、缺乏体制结构或者授权的人处理,所以没有意识到错误的出现并作出相应处理。


当然,所有的官僚体制都会受到这一系列问题的影响,这可以追溯到在第一张穿孔卡片诞生的几千年前。数据库用不同的尺度为我们提供了该问题新的表达方式,现在的机器学习也是这样。但是ML(机器学习)引入了各种不同的搞砸方式,而这些都是其自身运作方式所固有的问题。


比方说:假设你想要一套可识别猫照片的软件系统。旧的做法是建立一系列逻辑步骤——先开发出能检测边缘的东西,然后开发能检测尖耳朵的东西,以及眼睛检测器,一个腿部计数器等......这样下来最终需要几百个步骤,而且做得总是不如人意。的确,这就像想造机械马一样——理论上完全可能,但实际上太复杂了。


有些计算机科学问题就是这样的——人很容易做,但我们很难或不可能解释我们是怎么做的。机器学习把这些问题从逻辑问题变成了统计问题。你不用写下来自己是怎么识别出X的照片的,而是提供十万个X和十万个不是X的例子,然后用统计引擎生成(“训练”)一个可以在一定程度上区分它们之间不同的模型。然后你给它一张照片,它就会告诉你它是否匹配X或者非X,以及匹配程度。你不用告诉计算机规则,计算机会根据你提供的数据和答案(“这是X,那是非X”)来想出规则。

来源:François Chollet,机器学习与一般编程的不同


这种办法对于包括人脸识别在内的一整类问题都非常有效,但会给两个地方引入错误。


首先,你的训练数据(本例中为X和非X)里面究竟有什么?你能确定吗?这些样本集里面的ELSE是什么?


有一个能说明什么地方会出错的例子我很喜欢,那是一个根据皮肤照片识别癌症的项目。一个显而易见的问题是,不同肤色的样本分布比例可以会不合适。但另一个可能出现的问题是,皮肤科医生往往会把标尺放在癌症的照片中(用来测量),所以,如果所有“癌症”样本都都有标尺而所有“非癌症”样本都没有标尺的话,那么相对于那些小色斑,标尺的统计学意义可能反而会突出许多。你在无意中建立了一个标尺的识别器而不是癌症识别器。


如何从解构意义上去理解这个呢?我们需要理解,系统是不理解自己所看到的东西的——它没有皮肤、癌症、颜色或者性别、人的概念,甚至连图像的概念都没有。它对这些东西的了解程度跟洗衣机对衣服的了解程度并无二致。它只是对数据集进行统计比较。那么,再问一下——你的数据集是什么?它是怎么被选出来的?你没注意到东西(哪怕你看着)里面可能会有什么?人群分组会议哪种误导的方式表现出来?你的数据里面会有哪些跟人无关且没有预测价值但又会影响结果的东西?你所有的“健康”照片都是在白炽灯下拍摄的吗?所有“不健康”的照片都是在LED灯下拍摄的吗?你也许无法分辨,但计算机将其视为信号。


第二点更加微妙——“匹配”是什么意思?我们都熟悉的计算机和数据库通常会给出“是/否”的答案。这个车牌是否被盗?这张信用卡有效吗?上面有可用的余额吗?这次航班预订得到确认吗?这个客户号码有多少订单?但机器学习并没有给出是/否的答案。它给出的是“可能”,“可能不是”和“也许”的答案。它给出的是概率。因此,如果你的用户界面把“可能”显示成“是”,这就可能会产生问题。


在最近的几场做秀里面你可以看到这两个问题的体现:训练人脸识别系统识别罪犯的脸部照片(只有罪犯的),然后给一张老实正派的人(通常是政客)的照片,并询问是否匹配,刻意用相当低的置信度的情况下,系统会说YES!——然后这名政客就跟一个银行抢劫犯“匹配”上了。


对于计算机科学家来说,这可能像是蓄意破坏——你故意用歪曲的数据集,故意把精确率设得太低,然后把概率结果(错误地)表示为匹配成功的肯定回答。你可以用小猫的照片而不是罪犯的照片再做一次,甚至用卷心菜的照片都可以——如果你让计算机“在这些卷心菜照片中找到跟这张照片的最接近的匹配”,它会说“好吧,这颗卷心菜跟他是最接近的。”这样搞的系统注定是要失败的——就好像开车撞到墙上然后说“看!它撞了!” 好像你证明出来了什么一样。


当然,你还是证明了点东西——你证明了汽车是可以撞毁的。这类练习是有价值的,因为大家听到“人工智能”时就会想它是智能的——它是“AI”和“数学”,一台计算机和“数学是不会有偏见的”。数学不会有偏见,但数据有。说明这种技术就像数据库一样可能会被搞砸实际上是很有价值的。大家也会用过这种方式建立起人脸识别系统而不理解为什么他们不能产生可靠的结果,然后再把这些产品卖给警方说“这是人工智能——它永远也不会错。


这些问题对机器学习来说是根本性的,重要的是要强调它们跟与人有关的数据没有任何关系。你可以开发一套系统来识别燃气轮机即将发生的故障,但可能并未意识到自己的样本数据存在偏见,偏向于西门子传感器的遥感数据。同时,机器学习的确非常强大——它的确能识别计算机吃前从未识别的东西,有有着大范围极其有价值的用例。但是,就像我们必须了解数据库非常有用但也有可能会“出错”一样,我们也必须了解它是如何工作的,以免搞砸并确保大家能理解计算机仍有可能出错。机器学习在做某些事情方面要比人好得多,这就像一条狗在寻找毒品方面要比人好很多,但我们不会根据狗的证据来定罪一样。再说了,狗比任何机器学习可都要聪明得多。


当坏人用好的数据时


到目前为止,我一直在谈论当人脸识别系统(或任何机器学习系统)给出不准确的结果时会发生什么,但是另一个相当且相反的问题是,人可以开发一套能够提供准确结果的系统,然后把这些结果用于我们不喜欢的东西。脸部的使用是很容易受到关注的一个问题——在街对面就能看到你的脸但你甚至都不知道,而你又不能改变它。


人脸识别的确有一些令人感到担忧的用例。但是,这种技术可以用于各种各样的事情上,并不是所有那些事情都那么的令人担忧。


我们可以从今年8月发布版的旷视科技 600页的IPO招股说明书中管中窥豹。旷视科技是提供所谓的“智慧城市物联网”的大型公司之一;该公司表示,自己有106个中国城市客户,比2016年增加了30个,公司拥有1500名研发人员,并且在2019年上半年该业务的收入达到了1亿美元。


旷视科技提到的用例包括:


  • 警察能够识别一个不记得自己叫什么住哪里的痴呆症老人


  • 可以自动调度大型办公楼里面的电梯


  • 可以检查享受住房补贴的租户是否非法将其公寓转租出去


  • 可以用来建立允许进入幼儿园人员的白名单


  • 可以帮助识别收银员识别客户。


就像今天的数据库一样,面部识别会被用于社会方方面面的各种事情上,包括许多今天看起来不像人脸识别用例的事情。其中一些会成为问题,但不是全部都是。哪些是?我们怎么才能知道?


今天,大家在思考这个问题时会用这样一些框架:


  • 它是由国家还是私人公司完成的?


  • 它是主动的还是被动的——你是有意使用(比方说在前台登记)还是只要你走进门,或者甚至走过街上的大厅就会发生?


  • 如果它是被动的,它是否被披露?如果它是激活的话,你有选择吗?


  • 它是跟现实世界的身份链接还是仅用作匿名ID(比方说,通过传输系统生成流量统计信息)?


  • 还有,这样做是为了方便我自己,还是纯粹为了别人的利益?


  • 当然,还会有真正跟数据库而并不是面部识别本身有关的问题:你在什么地方存储数据,谁有权访问这些数据,我是否可以要求查看或者要求你删除数据?


因此,我想大多数人对海关比对你的脸部以及护照照片和文件上的照片,然后并记录下来的机器是适应的。我们可能对用面部识别的银行也不抵触。因为这是显式的,而且这么有明确的理由,是由一家你承认有正当理由这样做的企业所谓。


同样,对于我们的移动电话公司知道我们在哪里,并且我们的银行知道我们有多少钱,对于这些我们也接受,因为他们就得这样工作。换过来我们我们可能就不能接受——我的电话公司不应该知道我的工资。不同的实体拥有不同的权限。我信任超市能照顾好我孩子的生活,但我不相信它推出的流媒体音乐服务。


另一方面,想象一下房地产开发商用面部识别来标记和跟踪走在购物街的每个人,看他们进入哪些商店,他们看什么产品,拿起并试穿,然后将这些链接到销售点和信用卡。我想大多数人对此都会感到非常不舒服——这是被动的行为,是由一家私人公司完成的,你可能甚至不知道发生了这样的事情,而且也不是为了你的利益。这是未经同意的情况下对你的隐私的侵犯。


但另一方面,如果这是匿名下进行的话,那么这种跟踪是不是就可以呢——如果它从来都没有跟信用卡和人名链接到一起,而且进仅用来进行客流量分析呢?如果它用衣服和步态而不是脸部来跟踪商场周围的人呢?如果公共交通机构用匿名化的脸部来通过系统获取典型的行程指标呢?这跟零售商对信用卡(可以在购买时与你的身份相关联)的用法以及交管部门对车票和智能卡的用法又有什么不同呢?也许我们赞同的是什么就没那么清楚了。


原则上来说,零售商跟踪客户确实让很多人不满意,哪怕这当中不牵涉到任何的脸部识别(即使他们已经做了几十年),但是另一个非常明显的公共安全用例——识别被通缉的罪犯呢?


(我认为)我们都能接受拿人脸照片跟“通缉犯”海报比对的想法。我们知道警方会把它们放在办公室里,也许还有一些人的还贴在巡逻车的仪表盘上。与此同时,用摄像头进行车牌识别的使用已经非常广泛。但是,如果一辆警察巡逻车有一组摄像头扫描一百码范围内的每一张脸,然后跟一个通缉犯的全国数据库进行比对呢?如果Amber Alert(美国儿童安全警报)系统告诉城市中的每辆自动驾驶汽车去扫描经过的汽车并回传面部照片呢?(在所有这些案例中假设我们都是在寻找真正的罪犯。)我不敢肯定会有多少共识。


你可能会说,警察任何时候都扫描“所有”的脸部照片是不行的,但是扫描录像寻找特定脸孔是可以的。这听起来不一样,但为什么呢?什么是可复验的逻辑链?这让我想到了美国法院的决定,那些决定限制了警方将GPS跟踪器放在嫌疑人的汽车上的方式——他们必须用老办法人工去跟踪。那我们是不想要呢,还是不希望它太容易做到或者太过自动化?在极端情况下,美国枪支机构被禁止将枪支记录存储进可搜索的数据库中——一切都必须是模拟的,并且只能人工检索。关于自动化本身有些东西我们未必都喜欢——当一个理论上存在小规模的可能性的东西变得实际上大规模上可行时我们就未必乐意了。


不过,对于数据库的体验,有些事情只是因为那是是新的,我们不熟悉而产生的不适,面部识别也是一样。对于任何给定的用例来说,这种矛盾情绪部分是因为它的新颖性,这也许是可以解决和调整的:


  • 这可能是我们一点都不喜欢的,全新且不好的东西


  • 或者,它也许是新东西,但我们决定不去关心


  • 我们可能会认为它只是我们并不担心的旧事物的一种新的表达


  • 还有可能这是以前确实做过的,但不知怎的用人脸识别来做就是不一样,或者这只是强化了我们的意识。


其实上述所有讨论都是跟看法、文化和政治有关,跟技术无关,虽然我们大多数人都同意非黑即白,但其实这种两者中间还有一个非常大的灰色区域,理智的人是不会同意这种二元论的。而且地方不同情况可能也会有所不同——比方说对国家身份识别卡的态度就是很好的例证。英国就没有这种东西,而且一直拒绝做,因为大多数人认为这是对公民自由的根本侵犯。而法国这个“自由”之地却有这玩意儿,而且对此并不担心。理论上美国没有这玩意儿,其实背后是有一套的。尽管出于明显的历史原因德国强烈反对其实形式的干预,但这个东西他们还是要的。


这里未必就有正确答案,也没有办法通过任何分析过程找到答案——这是个社会、文化和政治问题,会有各种不可预测的结果。美国禁止建立枪支数据库,但美国也有一家叫做“PatronScan”的公司会扫描你的驾照,然后跟一个由600多家酒吧和夜总会共享的38000人(又一个数据库)的私有黑名单进行比对。与此同时,许多州的DMV都向私营公司出售个人信息。如果你是在1980年的话你能想象得到这种情况吗?


道德与监管:不同的组织是如何实现的


对于这些问题,科技行业最明显的初步反应是在各个公司创建各种道德委员会,并为工程师,研究人员以及公司建立行为准则。这两种做法的想法都是:


  • 承诺不用(最广泛意义上的)“不良数据”去造东西


  • 承诺不开发“不好的东西”,在成立道德委员会的情况下,有一套流程来决定什么是不好的东西。



这是必要的,但我认为还不够。


首先,在我看来,承诺你不会开发一款会产生不准确结果的产品,其实就像给自己写承诺不会搞砸的保证书是一样的。没有人会有心去搞砸东西。你可以列出想要努力避免搞砸的类型,在某些方面也会取得进展,但你没法阻止搞砸的发生。你也无法阻止其他人搞砸。


再回到数据库,我的一个朋友,Steve Cheney,最近写博客说自己被警察拦下,还戴上手铐,因为Hertz曾误报称自己租的车被盗了。这不是机器学习搞砸了——搞砸的是40年前的一项。我们对数据库会怎么出错的讨论时间之长要超过大部分数据库工程师的年龄,但还是避免不了它出错。这里面最重要的是,把Steve抓过去的警察了解数据库的概念,也具备有常识和授权——只是他查错了人。


这又把我们引回到之前提到的那个人脸识别的噱头——你可以承诺不犯错误,但是宣传说错误总是难免可能更有价值——你不能仅仅假定计算机必须是正确的。我们应该向三级外包商的工程师宣传这一点,因为是他们负责“商场扒手识别”系统的集成,但我们也应该向那位警官,律师和法官做宣传。毕竟,只要允许人去碰,那些错误就会继续出现在每个计算机系统上。 


其次,任何公司的人都可以决定某个人脸识别的用例(或者任何一种机器学习项目)是邪恶的,所以他们不会做那样的系统。但“邪恶”往往是一种看法,就像我前面所讨论那样,在很多情况下,理智的人会不同意我们对某个东西是否存在的看法。旷视科技也有道德委员会,而那个道德委员会同意了“智慧城市物联网”的开发。


此外,就像旷视科技以及许多其他例子所表明那样,这项技术正日益被商品化。最极端的工作仍然局限在相对较少的公司和机构内进行,但现在任何软件公司都可以免费获得“面部识别”技术。你自己可以决定不想开发X或Y,但是这跟X或者Y会不会被开发出来没有关系。所以,你的目标是阻止你的公司开发它呢,还是要阻止这个东西的开发和使用呢?


这当然会把我们带到另一条反应链,也就是从个别城市到整个欧盟的各级政府都在推动对人脸识别进行监管。这些实体当然有强制力——他们仍然无法阻止你搞砸,但他们可以强制实施审计,去捕捉错误,以及事后采取补救措施或进行处罚,并且(打个比方)有权要求查看或删除“你的”数据,他们还可以禁止或限制特定用例。


我认为,这里的挑战是弄清楚出适当的抽象层次。麦道夫当年的庞氏骗局爆发时,我们可没有说Excel需要进行更严格的监管,或者说他的房东应该及时发觉他所做的事情——正确的干预环节是是金融服务这个层面。同样,我们对金融服务进行监管,但抵押贷款、信用卡、股票市场体积零售银行的资本要求这些都是分开处理的。想要制定法律来监管用你的面部来解锁手机,或者把自己变成小猫,或者识别超市购物卡的持有者的系统,或者确定警察在什么地方可以使用摄像头以及如何存储数据,这样的监管效率不大可能会很高。


最后,这方面的对话往往会变成中美之争。但美国以外的人并不知道或者关心美国宪法是怎么说的,旷视科技已经向中国以外的15个国家的客户提供其“智能城市物联网”产品。这里面真正有趣的问题,我认为远远超出了脸部识别的范畴,而是涉及到了互联网的许多其他方面,那就是模式之争的问题。一方面是可以称之为隐私和技术监管的“欧盟模式”(美国公司的确也要遵守,就像GDPR一样)的传播程度,另一方面是,中国模式会传播到哪些认为它比欧盟或美国模式更具吸引力的地方。


© 2011~2015 3 北京勺海市场调查有限责任公司 | 京ICP备12031756号 | 京公网安备11010802012285号

电话:010-84284411    地址:中国北京朝阳区东三环中路建外SOHO18号楼1506室   技术支持:千晨科技