区块链银行数据采集工作干了五年，有些大实话我憋不住了

导读： 在银行的科技部盯着区块链项目这长达五年的时间里, 数据采集这一个环节里面, 我所踩过的坑多得能够绕着一圈走。所以今天是打算把最为核心的一些要点全部都拿出来展示给众人看...

在银行的科技部盯着区块链项目这长达五年的时间里, 数据采集这一个环节里面, 我所踩过的坑多得能够绕着一圈走。所以今天是打算把最为核心的一些要点全部都拿出来展示给众人看, 以此来节省后来者再去重复经历一遍弯路的这种时间成本与精力投入。

区块链银行数据采集工作难在哪

最让大家感到头疼的问题是链上数据与链下数据之间存在不一致的情况。银行那边的账务系统, 和区块链节点, 它们各自记录了一套账目, 在采集数据的时候, 必须要对时间戳、哈希值、交易流水这些项目一项一项地进行比对。

一旦出现哪怕一点细微的偏差, 紧接着智能合约触发就会产生错乱, 导致整个风控模型直接报废, 从而使得后续的返工成本大幅翻了好几倍之多。

再加上, 目前各家银行的接口规范, 根本就不统一。我们银行要对接四家合作方, 光是去写那个适配层代码, 居然就耗费了三个月的时间, 这中间还发生了两个来回的返工情况。

区块链银行数据采集工作怎么落地

基于我自身的实践经验, 建议首先将数据采集的粒度进行固定, 不要试图采用全链路数据归档的模式, 而是应当根据具体的业务场景对数据进行划分处理, 例如将对公转账相关的数据纳入一套体系之中,同时将信贷业务上链相关的数据归入另一套体系之中, 并且在项目开发正式启动之前, 必须与相关的业务部门就涉及的数据字段、数据采集的频率以及校验规则等关键事项达成一致的确认意见, 将其明确地写入到需求文档中, 从而避免出现进入开发阶段之后再进行无谓争议的情况。

在系统正式上线之后, 我们最应该密切关注的就是那些异常回滚日志。这种情况通常会有十分之九的人选择忽略掉这一环节。直到真正发生了问题的时候, 大家才会猛然发现, 底层数据已经在不知不觉中被污染了。在这种情况下, 想要去追溯问题的根源, 将会变得非常被动且困难重重。

数据采集这件事, 大家看起来觉得它是脏活累活, 但是呢, 它其实是整条链子上的命根子。如果说这个根子是牢靠的, 那上面再去盖那些看起来很漂亮的模型, 才不会变成空中楼阁, 但如果根子是不牢的, 那上面的东西就全都是空中楼阁了。