• 投稿
  • 移动端
    访问手机端
    官微
    访问官微
    搜索
    取消
    温馨提示:
    敬爱的用户,您的浏览器版本过低,会导致页面浏览异常,建议您升级浏览器版本或更换其他浏览器打开。

    云杉网络:混合云流量采集分发平台

    来源:中国电子银行网 2020-06-04 15:54:37 云杉网络 云平台 科技企业案例
         来源:中国电子银行网     2020-06-04 15:54:37

    核心提示混合云流量采集分发平台采用Master (控制器)/Slave(客户端)架构,与各云平台对接,建立统一高效的多云流量采集及处理平台,动态感知云环境中资源变化,为现有的网络、安全、交易监控,大数据分析等平台提供所需的数据源。

    2020中国金融科技创新大赛

    参赛单位:北京云杉世纪网络科技有限公司

    案例名称:混合云流量采集分发平台

    案例简介

    混合云流量采集分发平台采用Master (控制器)/Slave(客户端)架构,与各云平台对接,建立统一高效的多云流量采集及处理平台,动态感知云环境中资源变化,为现有的网络、安全、交易监控,大数据分析等平台提供所需的数据源,解决业务迁移上云所面临的流量采集困难、监控盲区等行业共性问题,提升自动化运维管理和业务连续性管理水平。

    创新技术/模式应用:

    Master对接各云平台(如Openstack/K8S),对流量采集策略、云网络流量采集客户端(Slave)进行统一管理。Master通过API与云平台无缝对接,动态学习云环境中主机、项目、虚拟机、网络、容器等资源,监控网络和资源的映射关系及流量。控制器可自动感知云网络中计算资源变化,当资源上线、下线、迁移时,采集策略自动进行匹配,无需人工干预。平台采用分布式采集架构,众多采集器以及控制器构建成一个与云网规模一致的分布式旁路流量处理系统,避免交换机镜像带外的性能和稳定性问题。通过在云环境每台物理宿主机上部署独立采集软探针,以进程模式工作在宿主机上,最大程度上避免对生产交换平面的干扰,不存在与生产平面交换机流表冲突的风险,同时在操作系统上继承进程级保护优势,确保整体系统稳定,K8S平台中客户端作为容器工作于宿主机上,支持容器流量采集。采集器具备灵活的按需流量预处理功能,包括过滤、去重、数据包截短、压缩、特征标记等,有效减少分发数据对监控网络和后端分析工具的压力。采集平台与各类云平台松藕合,支持多数据中心、多云异构的混合云基础设施,针对多云环境可建立统一的网络流量采集分发平台,适合大规模部署。平台适应性强,具备快速部署上线特点,具备良好的推广价值。

    项目效果评估:

    混合云流量采集分发平台已在民生银行分行测试云中成功试点,并与民生银行现有流量采集平台实现了无缝对接。该平台的成功上线,扩展了民生银行现有流量采集平台的功能和监控范围,解决了云环境中流量采集的各类痛点问题。

    1. 解决了传统通过物理交换机镜像获取业务交互流量不能适应虚机和容器流量采集痛点问题,满足东西向流量采集需求,且具备宿主机流量全面采集能力

    2. 平台采用分布式采集架构,避免了交换机集中镜像带来的网络性能和稳定性问题

    3. 控制器和客户端联动,支持虚拟机在线迁移感知,实现了采集策略随虚机资源的变化进行自动调整,解决了传统虚拟化环境中通过部署旁路采集虚机采集策略无法随虚机的迁移、切换实现自动同步及无法采集容器环境流量问题

    4. 客户端为计算节点进程级或容器级模式部署,资源占用低,自身具备过载保护机制,确保了采集系统稳定运行且不会对计算环境产生影响

    5. 客户端具备多维度精细采集能力,支持基于IP、IP段、虚机、子网、VPC等多维度采集

    6. 客户端具备流量优化和引流控制功能,包括过滤、去重、数据包截短、压缩、特征标记等,实现一次流量采集多点复制分发能力

    7. 平台具备对虚拟采集客户端、分发流量及云环境中资源的全面监控能力

    2020中国金融科技创新大赛”由中国电子银行联合宣传年、中国电子银行网共同主办,大赛以“竞逐数字时代新赛道”为主题,将收集、整理和展示商业银行和互联网企业在过去一年中重要的金融科技创新实践案例,以飨行业。大赛旨在多角度、多层次展示行业创新成果,弘扬创新与合作精神,为国内外金融学者、从业者提供高质量的学术交流平台,积极推动对金融科技领域重要问题的深入研究及最新进展的交流,为促进金融科技创新发展贡献力量。

    责任编辑:Rachel

    收藏

    为你推荐

    收藏成功

    确定