图片来源：Pixabay  作者：qimono

大数据矿难

千里之堤，溃于蚁穴。说的是防洪大堤的故事。

而在大数据领域，可谓万丈金山，毁于“爬虫”。

大数据被誉为金矿是早些年的事情。称大数据为金山的，还有一人，那就是阿里巴巴的彭蕾。

早年间，彭蕾在请王坚帮助阿里突破技术瓶颈时说，“阿里巴巴的数据就是一座金山，但不知道如何挖掘，现在是坐在金山上吃馒头。”

现如今，因为爬虫事件，互联网版图上的大数据金山多有矿难发生。数据开垦受到不小的影响。爬虫事件一度导致诸多号称大数据智能风控/营销的公司停止了相关的业务，而与其关联的需求方里包括银行。

大数据业务的停滞，直接导致了部分银行的部分线上业务的关停。对相关方而言，这简直是一次矿难，灾害波及的广度和深度都较大。

灾后重建

大数据的灾难发生后，我们不能因此而停止对金矿的挖掘，也就是不能因噎废食。灾后如何重建是个急需解决的难题。

阿里有大数据，大金矿，银行同样也有。

之前，有银行开展线上营销和服务，多是运用外部数据，原因是外部大数据技术较为成熟，而内部数据难挖。越是难挖，银行越不愿意去挖，后面的数据也越堆越多。更要命的是，因其底层数据逻辑不通用，且存储逻辑混乱，数据接口不一致，银行的数据矿山越大，其挖掘难度也越大。其实，银行也面临着“坐在金山上吃馒头”的窘境。

基于当前的现实，也就是外部数据风险不可控，内部数据难挖掘现状。银行应该思考如何从顶层设计上做好大数据的内部重构，让数据标准逐步统一（一蹴而就地统一和服毒自杀没区别），让数据接口逐步统一，让内部数据可用，让金山可挖。

数据因为沉淀得过久导致数据庞大，陈旧的数据存储和处理方式也导致数据难以统一。那么银行新成立的金融科技子公司在成立之初，或许可以考虑做好大数据的顶层设计，为未来的开放银行战略做好铺垫。

换个姿势挖掘大数据金矿

目前来看，爬虫事件的风险主要来自银行外部。这是因为爬虫技术的数据获取方式粗暴，且不合规。

那么，我们应该因此而拒绝外部数据吗？

当然不。

可我们该如何利用外部大数据呢？除了选择合理合规的大数据公司或项目外，其实还有一个思路。

近期，南京江北新区和长沙湘江新区有不小的动作。而较为一致的一个做法是，成立新区大数据平台。这些大数据平台依托当地政企数据以及金融数据，通过云服务架构，构建生态数据库，为经济发展增速提效。

这种做法无异于自造数据金矿，无论是对当地企业还是金融机构都有不小的吸引力。

对银行而言，在利用外部数据方面，与其猜疑私企数据的可靠性，不如花费一点心思考虑一下地方经济新区主导的政企大数据平台。不过，数据的采集、清洗、脱敏、流通等标准需要抓紧跟进了。

虽然，最近所谓“制造信任”的区块链的概念比较火，但大数据矿难的出也让金融科技的发展有了不小的信任危机。大数据行业的标准规范，以及行业监管和自律才是行业灾后重建的关键。

责任编辑：王超