取消
温馨提示:
敬爱的用户,您的浏览器版本过低,会导致页面浏览异常,建议您升级浏览器版本或更换其他浏览器打开。

大数据“矿难”,以及它的灾后重建

王超 来源:中国电子银行网 2019-12-03 11:14:56 大数据 金融科技 原创出品
王超     来源:中国电子银行网     2019-12-03 11:14:56

核心提示万丈金山,毁于“爬虫”。大数据矿难之后如何重建?

来源:Pixabay  作者:qimono

图片来源:Pixabay  作者:qimono

大数据矿难

千里之堤,溃于蚁穴。说的是防洪大堤的故事。

而在大数据领域,可谓万丈金山,毁于“爬虫”。

大数据被誉为金矿是早些年的事情。称大数据为金山的,还有一人,那就是阿里巴巴的彭蕾。

早年间,彭蕾在请王坚帮助阿里突破技术瓶颈时说,“阿里巴巴的数据就是一座金山,但不知道如何挖掘,现在是坐在金山上吃馒头。”

现如今,因为爬虫事件,互联网版图上的大数据金山多有矿难发生。数据开垦受到不小的影响。爬虫事件一度导致诸多号称大数据智能风控/营销的公司停止了相关的业务,而与其关联的需求方里包括银行。

大数据业务的停滞,直接导致了部分银行的部分线上业务的关停。对相关方而言,这简直是一次矿难,灾害波及的广度和深度都较大。

灾后重建

大数据的灾难发生后,我们不能因此而停止对金矿的挖掘,也就是不能因噎废食。灾后如何重建是个急需解决的难题。

阿里有大数据,大金矿,银行同样也有。

之前,有银行开展线上营销和服务,多是运用外部数据,原因是外部大数据技术较为成熟,而内部数据难挖。越是难挖,银行越不愿意去挖,后面的数据也越堆越多。更要命的是,因其底层数据逻辑不通用,且存储逻辑混乱,数据接口不一致,银行的数据矿山越大,其挖掘难度也越大。其实,银行也面临着“坐在金山上吃馒头”的窘境。

基于当前的现实,也就是外部数据风险不可控,内部数据难挖掘现状。银行应该思考如何从顶层设计上做好大数据的内部重构,让数据标准逐步统一(一蹴而就地统一和服毒自杀没区别),让数据接口逐步统一,让内部数据可用,让金山可挖。

数据因为沉淀得过久导致数据庞大,陈旧的数据存储和处理方式也导致数据难以统一。那么银行新成立的金融科技子公司在成立之初,或许可以考虑做好大数据的顶层设计,为未来的开放银行战略做好铺垫。

换个姿势挖掘大数据金矿

目前来看,爬虫事件的风险主要来自银行外部。这是因为爬虫技术的数据获取方式粗暴,且不合规。

那么,我们应该因此而拒绝外部数据吗?

当然不。

可我们该如何利用外部大数据呢?除了选择合理合规的大数据公司或项目外,其实还有一个思路。

近期,南京江北新区和长沙湘江新区有不小的动作。而较为一致的一个做法是,成立新区大数据平台。这些大数据平台依托当地政企数据以及金融数据,通过云服务架构,构建生态数据库,为经济发展增速提效。

这种做法无异于自造数据金矿,无论是对当地企业还是金融机构都有不小的吸引力。

对银行而言,在利用外部数据方面,与其猜疑私企数据的可靠性,不如花费一点心思考虑一下地方经济新区主导的政企大数据平台。不过,数据的采集、清洗、脱敏、流通等标准需要抓紧跟进了。

虽然,最近所谓“制造信任”的区块链的概念比较火,但大数据矿难的出也让金融科技的发展有了不小的信任危机。大数据行业的标准规范,以及行业监管和自律才是行业灾后重建的关键。

责任编辑:王超

收藏

为你推荐

收藏成功

确定