国内外反恐系统中大数据技术应用现状及未来趋势 2016年09月26日10:39 来源:网易科技|
在进入正题之前,我们先来看一个例子:
美国国防部长卡特(AshCarter)曾赴硅谷招募顶尖科技人才。近年来的信息大爆炸使得五角大楼不得不将目光聚焦高科技硅谷,以打击反恐。美国中央情报局的CTOGusHunt表示,为了提高情报分析能力,他们已经加快了运用云计算的步伐。
神秘的平台Palantir就是美国CIA、FBI等寻求的合作对象。Palantir最为人津津乐道的案例有两个,一是此前美国政府追捕本拉登行动中,Palantir扮演了重要的情报分析的角色;二是Palantir协助多家银行追回了纳斯达克前主席麦道夫BernieMadoff所隐藏起来的数十亿美元巨款。
Palantir在洛杉矶警局通过技术与业务的深入交流与合作,采用Palantir的Gotham平台,构建了一-套洛杉矶警局的语义知识搜索挖掘平台,用于日常的警方业务工作中。该平台全面整合警情日志文档、电子表格数据、数据库等数据和电子邮件、文档、图片、录像等非结构化数据,对各类多源异构,繁杂的信息进行清洗梳理,总结提炼为八个关键的信息实体:人、车、位置、罪案、逮捕、文件、备注与其他。实体本身还有不同的属性,不同个体之间还存在这相应的知识关联。Palantir公安大数据语义知识搜索平台建立以后,警方就可以通过非常简洁的前端搜索页面,来搜索指定的各类实体与线索。
Palantir的搜索结果与百度等通用搜索引擎完全不一样,并不完全基于关键词,而是探索搜索背后的关联关系,搜索结果如上图所示。这里,中间的焦掉是搜索的嫌疑人“MichaelBarton”,通过Palantir平台,可以快速将各类庞杂的数据通过可视化平台的形式汇聚到一起,最终我们发现该犯综合立体化视图,其中包括:使用的手机,入境记录,逮捕时开的车,逮捕的案子,同时涉嫌一起案,包括已有的两次审讯记录。点击任何一个节点,右边会展示其详细的属性与其他实体的关联关系。例如,点击该车,可以展示出该车的历史所有被抓拍的照片与数据。办案人员同时可以根据关联连接一层一层往下挖,并人机互动,补充各种筛选条件,将模糊的破案线索逐步求精,最后极大的提高破案准确性与效率。
综合大数据的前沿技术进展,可以综合研判出大数据反恐平台背后的三大关键技术:知识图谱、大数据人机可视化交互、非结构化精准搜索与挖掘。分别介绍如下:
知识图谱
知识图谱本质上是一种语义网络,图中的结点代表实体(entity)或者概念(concept),边代表实体/概念之间的各种语义关系。Palantir在图一中使用的就是知识图谱的技术,其中嫌疑犯、车、手机等都节点属于知识图谱中的实体,而边就是实体之间的关系。知识图谱允许用户搜索引擎知道的所有事物、或者地方,而且能够显示查询的实时信息。知识图谱技术表征了公安大数据的本质语义关联,比传统的关系型数据库更加自由多样化,更适合于公安的办案。
大数据人机可视化交互
运用了大数据可视化、知识图谱化、地图GIS化等手段,同时开放了大量方便的人机交互接口,实现了人与机器的完美融合,也实现了人与人之间的协同工作,大大提升了警务人员掌控数据的能力。
非结构化语义精准搜索与挖掘
非结构化大数据指的是文本、图像与视频等信息,比传统结构化数据的信息量大得多,非结构化语义精准搜索与挖掘,是指在知识图谱的基础上真正理解用户的搜索请求,不再拘泥于用户所输入请求语句的字面本身,而是透过现象看本质,准确地捕捉到用户所输入语句后面的真正意图,并以此来进行搜索与挖掘,从而更准确地向用户返回最符合其需求的搜索结果。
大数据分析工具和技术,结合文本挖掘、机器学习以及本体建模,已成为进行军事安全威胁预测、检测和早期阶段预防的第一道防线。如今大数据和数据科技,通过改进协作和数据分析,减低了情报调查过程的繁琐程度,以便机构更轻易地检测到国家安全威胁。
通过分析恐怖分子日常各种信息,如通话、、购物、交友、电子邮件、聊天记录、视频等,对恐怖行为发生前进行预警和事后分析排查,越来越成为国际预防反恐的通用手段之一。
责任编辑:钟娟娟
上一页1