文章 - 快速搭建一个轻量级OpenSOC架构的数据分析框架（一）

关于OpenSOC

OpenSOC是思科在BroCON大会上亮相了的一个安全大数据分析架构，它是一个针对网络包和流的大数据分析框架，它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目Hadoop，实时索引使用开源项目ElasticSearch，在线流分析使用著名的开源项目Storm。

但是其部署上和使用上可能对于大部分中小企业来说，消耗的资源和精力可能有点过于庞大。本文着重介绍如何轻量级实现OpenSOC框架，即使日后升级或者添加了SEIM也可以快速迁入。

OpenSOC介绍

我们先来看一下 OpenSOC 框架

OpenSOC框架组成

OpenSOC框架主要包括六个部分

数据来源（Source Systems）
数据收集（Data Collection）
消息通知（Messaging System）
实时处理（Real Time Processing）
数据存储（Storage）
访问接口（Access）

OpenSOC的工作流程：

数据收集组件从数据来源收集日志等数据然后推送到消息通知组件，

通过消息通知组件分发给对应的实时处理组件

由实时处理组件处理完后保存到数据存储组件中

最后由访问接口提供的API或者UI等供给用户查看或者调用

构建OpenSOC

使用的场景

本文将根据以下场景来构建OpenSOC。

有多台Centos的WEB服务器
需要获取所有的WEB服务器的访问日志
推送到后台的规则匹配和机器学习分析部分
用来判断和显示当前的访问情况

注：如果有其他的数据源，配置好数据收集组件进行收集即可

此处只针对大部分的日志文件进行推送和处理，

工具和架构

由于是轻量级的框架，所以在架构上会稍微调整。

数据来源（/var/log/httpd/*_log）
- 这里收集的是web服务器的日志。有其他的日志也是同样处理
数据收集
- 这里采用了Filebeat 一个轻量级的数据收集器
- 感兴趣的也可以用logstash，不过性能损耗比Filebeat多
消息通知
- 这里可以选择的很多 kafka，logstash
- 但是由于轻量级我们直接使用 Filebeat的推送
实时处理
- 这里调用python写的处理脚本
  - 正则处理脚本
  - 机器学习模型
数据存储
- 实时存储 Elasticsearch
  - 保存日志源记录
- 结果存储 mysql
  - 分析的结果
  - 预先规则
  - 其他配置信息
接口和展示
- flask写的一个简易管理后台

整个系统结构如图：

搭建步骤

数据源

使用的服务器是centos6.9
直接安装 php apache mysql等
开启日志记录
安装web应用
- dvwa
- phpmyadmin
- ...等

日志数据采集收集和推送

使用RPM安装FileBeat(Elasticseach的安装也是一样)
导入 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
编辑 elasticsearch.repo

[elasticsearch-6.x]
    name=Elasticsearch repository for 6.x packages
    baseurl=https://artifacts.elastic.co/packages/6.x/yum
    gpgcheck=1
    gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
    enabled=1
    autorefresh=1
    type=rpm-md

yum install filebeat -y

安装elasticsearch

yum install elasticsearch -y

配置filebeat和elasticsearch

vi /etc/filebeat/filebeat.yml #给filebeat添加数据源

filebeat.prospectors:
- input_type: log
  paths: /var/log/httpd/access_log
output.elasticsearch:
   hosts: ["IP:PORT"]

vi /etc/filebeat/filebeat.yml #给filebeat添加数据源
vi /etc/elasticsearch/elasticsearch.yml
- 添加 network.bind_host: 你的IP
访问一下一下刚才部署的网站
访问 elastcisearch/_cat/indices?v 查看是否有 filebeat-** 索引建成

访问 elastcisearch/filebeat-*/_search 查看刚才的访问记录是否已经同步到elastic search

[注]

filebeat的paths 可以添加多个
支持的类型具体可以自行查看filebeat的官方文档

分析和展示的UI

这里涉及的基本就是常规的网页编写和操作了。这里不具体展开。
大概说一下我写的思路和用到的组件

分析
- 写了日志文件每10分钟调用一次脚本 load.py
- 脚本先判断数据是否有更新有的话调用分析的脚本 re_ana.py 和 knn_ana.py
- 正则是 re_ana.py
  - 正则的规则存储在mysql中，通过人工添加
- 机器学习是 knn_ana.py
  - 根据正则分析出来的数据进行学习学习完后再去对新的数据进行分析
- 机器学习的模型用了最简单的分词+KNN去使用
- 为了降低分词带来的重复性很高的问题添加了一个停用词表
UI
- 用FLASK编写
- 模版用了elaadmin

最后效果如图

基础的OpenSoc框架搭建完成，下一篇会介绍一下

正则和机器学习的准确率比较
我编写的一个简单的机器学习的模型
如何低成本的搭建蜜罐和opensoc构建威胁情报 *（这个估计还会延后，资金不够）