Elasticsearch应用在数据中心的实时协议分析和安全威胁检测
数据中心面临的挑战
- 被DDOS攻击: 网络瘫痪,大面积影响业务
- 植入后门发包: 占用带宽资源,消耗成本
- 运营“黑盒子”: 无法分辨“好人”、“坏人”
- 监控粒度粗: 无法及时响应并定位事件
- Cacti 利用SNMP监控交换 机出入口流量
- 交换机推送Sflow流量采样 数据,使用Solarwids监控
- 遇到DDOS时,使用手动 Sniffer抓包分析
- 消耗路由器CPU资源
- 100-1000:1采样比,监测粒度粗
- 业务和应用识别依赖端口号,无法识别日新月异 的业务类型
NSM架构解析 [attach]1450[/attach] 实时协议分析:Bro日志类型 [attach]1451[/attach] Flow: 数据格式 [attach]1452[/attach] 实时安全威胁检测引擎 [attach]1453[/attach] Suricata Today [attach]1454[/attach] 实时流量 +ELK + VirusTotal [attach]1455[/attach] 构建10G+ NSM的几个关键点 1、抓包网卡 2、内核优化 3、驱动与rss 4、PF-Ring_zc 5、ntop、nprobe、ndpi 6、跨数据中心es 流量抓包与网卡 [attach]1456[/attach] ELK部分的关键点 1、用Logstash Kafka input接收数据 2、数据量大,处理结构复杂时: 预设Kafka分区 开启多个Logstash实例,分别读取Kafka分区数据 分别写入不同es节点 3、多集群互联 跨数据中心es集群 [attach]1457[/attach] 10G NSM平台样例 [attach]1458[/attach] 万兆 实时 安全大数据架构 [attach]1459[/attach]实际效果展示
作者:张磊@Zooboa