毛卫东:“众测”在银行业的实践应用经验分享

专题库
毛卫东 来源:金融电子化 2017-12-27 14:19:02 银行动态

核心提示众测模式因其能有效利用大众的测试能力和测试资源,在短时间内完成大工作量的产品测试任务,并始终从用户角度出发,对产品的功能、易用性、兼容性提出改进建议的特点,在工行的互联网金融领域得到积极尝试和探索,并形成了具有工行特色的众测模式。

【中国工商银行数据中心(北京)总经理 毛卫东】“众测”在银行业的实践应用经验分享

  随着互联网金融的快速发展,产品上线节奏不断加快,中国工商银行不断在研发测试方法上推陈出新,发掘出各类新颖的测试模式及测试方法。为了高效推进“三大平台、一个中心”为基础的e-ICBC战略,科技研发开始探索迭代研发测试、A/B测试、云测、众测等新的测试方法或测试组织模式。在诸多测试方法中,众测模式因其能有效利用大众的测试能力和测试资源,在短时间内完成大工作量的产品测试任务,并始终从用户角度出发,对产品的功能、易用性、兼容性提出改进建议的特点,在工行的互联网金融领域得到积极尝试和探索,并形成了具有工行特色的众测模式。

  工行众测的定位

  众测作为一种新的测试组织模式,最先在互联网企业的研发测试中得到应用。一些大型互联网公司如百度、腾讯、Testin等,都建立了比较完善的众测平台。通过平台对发布的测试任务、测试用户等进行管理,将需要测试服务的企业方、众测平台运营者以及用户等三方面的资源整合到一起,对企业和用户提供测试服务。这样的众测模式实际上是测试外包的一种形式。

  工行拥有完善的研发测试体系,是因为银行软件的架构复杂,对缺陷的容忍度低,产品上线前的测试工作必须由专业测试团队承担,功能测试及验收测试难以通过众测模式完成。因此在定位上,工行的众测与业界存在一定的差异。

  1.工行众测是对专业测试的补充,有其特定的使用范围。一是客户体验。客户体验工作不具有唯一性,不同用户对产品的理解和使用有不同的看法,需要大量客户参与进行体验,从而确保产品符合多数用户的使用习惯。通过众测可以发现产品需要优化的内容,以补充专业测试团队在客户体验测试方面的不足。

  二是设备硬件的适应性。互联网金融产品具备客户直接使用的特点,但客户使用的移动终端、PC等设备的型号、操作系统版本繁多,虽然可以通过云测、自动化测试等方式对大部分设备的兼容性进行测试,但涉及生物识别、外联硬件等功能的部分,目前缺乏较好的技术验证手段。通过众测引进大众的资源,可以在硬件上对软件运行的适应性进行补充测试。

  三是客户数据的适应性。工行建立电子化服务体系已近30年历史,期间经历了多次系统升级,存量客户数据类型非常繁杂,专业测试团队无法对这些数据的组合进行穷尽测试。因此需要通过众测发现软件产品在数据适应性方面的问题。

  2.工行众测主要利用行内员工的资源组织测试,是众测中内测的形式。工行有40多万员工,同时他们也是用户,这是相当可观的资源。工行的众测就是充分挖掘行内员工的资源,在产品正式上线前实施众测。

  利用行内员工做众测有以下优势:具备基本的银行业务知识,对产品更加易于理解,只需进行简单的培训就可以开展测试工作;员工大多工作在一线,直接面对客户,对客户需求掌握更精准,更容易提出产品的优化建议;通过众测能让员工迅速掌握产品特性,起到以测代培的作用,为后续产品推广打下良好基础;熟悉掌握员工情况、方便管理,可以根据员工的年龄、学历、专业背景、持有设备等情况有针对性地安排众测任务;试用产品在行内发布,可以有效避免敏感信息泄露。

  工行众测的实践

  2015年工行对“融e行”PC端以及移动端进行全面升级改造。秉持以客户为中心的设计理念,工行利用行内员工资源,在产品上线前组织进行了六轮用户体验,参与人员包括行领导、员工、行外特约客户等,累计参加人数超过5000人次,收集有效意见和建议754条,建立了问题收集、分析、解决、反馈机制,确保用户体验问题在投产前得到妥善解决。截至版本投产,共解决问题718个,问题解决率达95.23%。对众测模式进行了初步尝试并取得一定效果。

  工行从发布“e-ICBC”互联网金融品牌开始,就加快互联网金融产品上线的节奏。对于用户体验要求高、产品上线要求急迫且需要终端环境多样的产品,工行尝试以众测模式提升产品的品质。工行众测模式包括任务管理、问题管理、用户管理等实施步骤,下面分别进行介绍。

  1.众测的任务管理。由于众测需要消耗测试资源,因此不是所有的项目都需要众测。为确保测试资源的使用效率,需要对测试任务进行分级管理,只有满足以下条件,才可以申请众测任务。

  众测产品必须是客户直接操作且客户数量巨大的产品。目前工行的众测产品以互联网金融产品为主。

  产品的版本质量稳定,无重大缺陷和瓶颈问题。新产品首先由专业测试团队完成功能验证,待中后期满足体验测试条件后进入众测阶段。

  众测目标明确,案例清晰。任务分发时明确众测内容,包括功能名称、测试案例,用户有针对性地开展众测任务。

  众测环境的安排具备灰度发布条件。目前工行在测试阶段、生产运行阶段分别组织用户体验新产品功能。产品测试阶段中后期,一般面向行内相关专业人员在测试环境进行体验测试。在产品上线后的灰度发布阶段,将体验用户范围扩大到全行员工及特定的外部客户资源,在生产运行环境使用用户本人真实数据开展产品体验。

  众测用户的要求明确。除对任务目标、环境、内容等进行明确外,在任务分发时也明确了用户回馈要求,任务参与者需要在完成任务后提供众测结论反馈,并设置相应的提醒机制。

  2.众测的问题管理。众测的重要目的之一是发现问题、跟踪问题和解决问题。众测过程中大量用户同时开展测试工作,一定会导致问题在短期内骤增的现象,为提高问题管理的质量,保障众测的质量,工行具体操作方法如下。

  优化问题管理流程。众测工作的问题管理是核心模块,工行对众测问题的管理实行线上流转处理,呈现完整的问题视图,从而便于对众测过程中问题的提交、分析、闭环、统计等环节进行处理。不仅提高了问题的处理效率,还可以从不同维度对问题进行统计,定义体验问题的程度和类型,对众测工作做出全面的体验评价分析。

  便捷问题的跟踪。通常体验类众测任务的问题数量较多,提供便捷的问题提交入口,方便参与人员及时反馈问题。参与人员只需提供问题的描述,对于其他如APP版本、操作系统、日志等分析问题的信息均由系统自动来获取,在确保问题质量的同时最大程度降低参与人员的门槛。

  设计问题排重机制。排重机制有利于降低人工排重的成本。例如针对体验类众测任务一般参与范围较广,存在重复问题较多的情况,工行通过提交问题时关联参考案例的方式,实现同一案例下的问题通过关键字等信息先进行自动排重识别。

  3.众测的用户管理。众测的核心即借用“大众”的资源获取产品评价,用户管理是重要的管理环节。用户管理重点在于以下三方面。

  用户信息的采集和积累。众测需要用户多样的设备型号、丰富的数据类型及体验偏好等资源,只有积累了一定用户资源才能确保众测效果。因此需要在管理过程中及时采集、有效管理、不断积累用户信息,挖掘数据价值,不断提升众测效果。如在任务分发至具备某类特性的特定人员时,能够从积累的用户信息中快速定位满足条件的用户群体,准确分发至个人。

  用户的激励。众测工作需要对参与用户提供有价值的回馈,以激发用户兴趣及参与意愿,这就需要制订适用的激励机制。目前我行众测工作采用行政积分、现金及实物奖励等方式,后续还需不断摸索,形成成熟的用户激励机制。

  人员培养。用户管理同时需要注重人员培养,在用户信息积累及任务实施过程中,通过用户激励、论坛交流等手段制订相应的人员升级等机制,培养参与人员的众测能力,不断积淀成熟的用户群体,提高用户群专业性,形成有效的人员培养机制。

  工行众测工作的不足

  通过大量的众测实践,我们认为在众测工作开展的过程中也存在一些问题需要解决。

  完善众测工作的市场化运营。将现在的行政命令派发变为主动接收认领,建立有效可行的激励机制,充分调动人员的积极性。

  目前工行众测工作主要通过行内员工资源进行,还未扩展到外部用户,尚未有效利用丰富的外部用户资源,未来还需不断研究。

  对产品的有效评价。众测工作完成后,如何通过参与人员的特性分布、收集的问题数量、类型及问题解决情况等各方面定量、定性指标进行分析,尚需不断优化。通过适用的数据模型生成对产品的综合质量评价,持续提升产品品质。

  金融类软件产品相较一般软件产品具有其特殊性,对产品质量及测试工作提出了更高要求。主要包括两方面,一是金融软件产品涉及资金、账务,对交易的正确性、及时性要求极高,对功能缺陷的容忍度几乎为零。二是金融软件产品专业性普遍较强,产品具有特定的业务逻辑及处理规则,对非专业人员而言不直观、不易掌握。以上两点决定了金融类软件产品必须通过专业测试团队进行验收后才可达到对外出口条件。工行在开放式网银、手机银行的内部体验形式取得了明显效果后,将众测模式研究纳入重点规划中,不断摸索并完善众测机制,逐步建立并形成专业测试为主、行内员工资源众测为辅的测试模式。

  工行众测工作的展望

  通过总结工行众测工作的实践,未来的众测工作将沿着以下三个方面进行发展。

  1.搭建一个系统内外用户可以同时参与的众测管理平台。该平台首先要实现的目标是拓展用户群,将目前参与众测的用户从行内用户向行外用户扩展。为此,平台需要解决用户筛选、资源投入、人员培养、安全管理、案例设计和效果评估等方面的问题。在众测平台上通过信息发布、用户筛选、人员培养、任务分配、问题跟踪、结果报告等功能,实现众测的系统化管理,扩大用户覆盖面和设备的覆盖范围。

  2.不断实现众测平台的自我优化和完善。未来的众测平台将通过四种标准化的产品面向用户提供服务:一是在用户体验测试方面,可通过用户测试、内部评估等模式开展可用性测试,解决产品好用的问题。或者利用A/B测试等模式发现产品视觉设计方面的问题,解决产品好看的问题。二是在Bug探索测试方面,尤其是在新产品线或大型重构类项目上线前,均可利用众测平台开展探索性测试;利用平台中特定专业领域的专家完成有效的缺陷发现。三是在兼容性测试方面,可针对不同的产品需求,利用平台不同地域、设备型号的用户开展短时间大规模的兼容性测试,在测试场景方面对传统测试进行有效补充。四是在市场调研、产品使用习惯调查、功能体验调研、性能调研、操作流程体验调查等方面,可利用众测平台开展大范围的真人、真机、真实场景的测试活动,并在短时间内交付测试,为产品的研发运行提供决策辅助。

  3.众测平台实现从测试管理到资源提供的转化。众测平台资产化后,下一步目标就是众测平台的资源化,即通过平台积累用户数据、培训资料、流程管理、效果评估信息,将这些资产信息转化为一种众测资源,以此为同业提供众测服务,进一步积累资产价值,实现平台资产的持续增值。

责任编辑:松崎

收藏

  • 最新
  • 最热

    点击加载

      点击加载

      我要评论
      普通评论
      游客

      登录后参与评论

      为你推荐

        暂无相关推荐
        合作媒体

        中国网络电视经济台 | 和讯银行 | 新浪理财 | 凤凰理财 | 腾讯网 | MSN理财 | 网易科技 | 中华财会网 | 第一财经网 | 北京商报网 | 和讯科技 | 财新网 | 中国网理财 | 金融界银行 | 光明网经济 | 东方财富网 | 经济观察网 | 中国经营网 | 赛迪网 | 新华信息化 | 中关村商城 | 同花顺金融服务网 | 环球网财经 | 投资时报 | 钛媒体 | 中国金融新闻网 | 新华网财经 | 人民网金融频道 | 中文互联网数据研究资讯中心 | 中金在线 | 外汇 | 品途网