Elasticsearch应用在数据中心的实时协议分析和安全威胁检测

数据中心面临的挑战

  1. 被DDOS攻击: 网络瘫痪,大面积影响业务
  2. 植入后门发包: 占用带宽资源,消耗成本
  3. 运营“黑盒子”: 无法分辨“好人”、“坏人”
  4. 监控粒度粗: 无法及时响应并定位事件
  早期解决方案 
  • Cacti 利用SNMP监控交换 机出入口流量
  • 交换机推送Sflow流量采样 数据,使用Solarwids监控
  • 遇到DDOS时,使用手动 Sniffer抓包分析
 第一期改造后 [attach]1445[/attach] 推送Netflow/Sflow 劣势
  • 消耗路由器CPU资源
  • 100-1000:1采样比,监测粒度粗
  • 业务和应用识别依赖端口号,无法识别日新月异 的业务类型 
  如何用数据驱动IDC运营  [attach]1446[/attach]   NSM架构设计  [attach]1447[/attach]   第二期改造后  [attach]1448[/attach]   10G下的NSM : [attach]1449[/attach]  

实际效果展示 

NSM架构解析  [attach]1450[/attach] 实时协议分析:Bro日志类型  [attach]1451[/attach] Flow: 数据格式  [attach]1452[/attach] 实时安全威胁检测引擎  [attach]1453[/attach] Suricata Today  [attach]1454[/attach] 实时流量 +ELK + VirusTotal  [attach]1455[/attach] 构建10G+ NSM的几个关键点  1、抓包网卡    2、内核优化  3、驱动与rss  4、PF-Ring_zc  5、ntop、nprobe、ndpi  6、跨数据中心es  流量抓包与网卡  [attach]1456[/attach] ELK部分的关键点  1、用Logstash Kafka input接收数据 2、数据量大,处理结构复杂时:       预设Kafka分区        开启多个Logstash实例,分别读取Kafka分区数据        分别写入不同es节点 3、多集群互联  跨数据中心es集群  [attach]1457[/attach] 10G NSM平台样例  [attach]1458[/attach] 万兆 实时 安全大数据架构  [attach]1459[/attach]

作者:张磊@Zooboa 

0 个评论

要回复文章请先登录注册