从 开源项目JustSoc 学习态势感知的原理

每年一度的HW快到了。很多刚入行的同学第一次看到态势感知、SOC、SIEM,会觉得它们像一堆很大的平台名词:设备很多、页面很多、告警很多,但不知道背后的链路到底怎么跑。

所以我写了一个轻量级的态势感知平台 JustSoc。它不是为了复刻商业产品,也没有搞一些花里胡哨的数据透视图,而是把核心链路拆开:流量怎么采集,告警怎么产生,探针怎么发数据,分析中心怎么存储和展示,研判人员最后怎么用。

地址:0ctDay/JustSoc

先说几个概念。态势感知可以先理解成“升级版 IDS”。传统 IDS 更偏单点规则匹配,只能告诉你“像不像攻击”;企业级态势感知会结合资产、威胁情报、漏洞、沙箱、Kill Chain 等信息,继续判断“有没有打成”“影响什么业务”“要不要处理”。

SOC (Security Operations Center)是安全运营中心。严格说它是一套运营体系,但在国内项目里经常落成一个综合安全运营平台:底层以 SIEM 为主,把流量告警、EDR、防火墙、WAF、终端、云安全、漏洞扫描、主机日志、应用日志和其他厂商设备日志统一采集、存储、检索、归一化和分析;再往上叠 SOAR 的自动化响应,以及工单、值班、报表、监管对接等安全运营能力。

PS:虽然本项目名叫JustSOC,但是还未实现Soc相关功能,避免引起误会,先交代一下。

当然,不用一开始就纠结名词边界。先记住一条主线:不管叫态势感知、SOC 还是 SIEM,底层都离不开 规则引擎 + 大数据分析。尤其到 HW 这种实战场景里,研判人员大部分时间其实都是在看告警、筛告警。

JustSoc 就是用一个小项目,把“采集、传输、分析、存储、展示”这条线跑通。

一、企业级态势感知和 JustSoc 架构

网络流量型态势感知通常分成两块:流量探针和分析中心。探针放在互联网出口、服务器区、办公网出口等位置,看流量、发现可疑行为;分析中心负责接收、存储、检索、展示和研判。

JustSoc 也按这个思路拆,只是规模更小。探针侧大概是这样:

分析中心这一侧是这样:

1. 流量探针:先把网络里的事情看见

流量探针可以理解成网络里的观察点。不同厂商实现不一样,有的用 Suricata、Zeek,有的自研采集引擎;但核心工作就两件事:拿到流量,然后做第一轮告警初筛。

JustSoc 里用的是 Suricata。它监听采集网卡,根据规则生成原始告警,并写到 eve.json。

2. 分析引擎:让告警更像“研判结果”

采集器打出来的告警通常还比较粗。企业级平台会在后面加分析引擎,结合上下文、资产、白名单、规则模型,补充攻击类型、阶段、置信度、严重程度、资产归属等信息。

JustSoc 里这部分由 threat-engine 负责。它把 Suricata 的原始告警加工成更适合人看的富化告警,再继续往后传。

3. 探针和分析中心之间怎么传数据?

探针发现告警以后,需要把数据送到分析中心。常见做法有两类:Syslog / rsyslog 推送,或者用 Kafka 这类消息队列做中转。

Kafka 可以先理解成消息中转站。它负责保存和分发连续的数据流,最大的价值是解耦:探针只管写,分析引擎只管消费,Logstash 只管拉取,后面的存储和平台可以各干各的。

JustSoc 里就是这个套路:探针写原始告警,分析引擎消费后写回富化告警,分析中心再拉取富化后的数据。

4. 分析中心:把告警存下来、查出来、看明白

分析中心负责接收、存储、检索和展示,是企业级平台里比较重的一块。JustSoc 里它主要由 Logstash、Elasticsearch、Kibana 和 JustSoc Platform 组成。

其中 ES 是核心检索底座。安全平台经常要按时间、源 IP、目标 IP、规则名、攻击类型、URL、域名、端口等条件查询和聚合,这正是 ES 擅长的场景。JustSoc 中,Logstash 从 Kafka 拉取富化告警写入 ES,平台和 Kibana 再从 ES 查询数据。

大型企业级架构里也不会只靠 ES。ES 更适合热数据检索;ClickHouse / Doris 更适合聚合分析;Flink 更适合实时计算。它们不是互相替代,而是各自解决不同问题。

5. 把整条链路串起来

一条攻击流量,在企业级态势感知平台里大概这么走:

对应到 JustSoc,就是:

这就是第一部分想讲清楚的事:态势感知平台本质上是一条安全数据处理流水线。

流量探针负责看见攻击,分析引擎负责理解告警,Kafka 负责解耦传输,Elasticsearch 负责存储检索,平台负责让研判人员真正用起来。

二、JustSoc 的部署

前面讲的是原理,接下来就按 JustSoc 的实际部署流程走一遍。这里不只是把服务跑起来,更重要的是每一步都看一眼数据有没有继续往下走。这样你不会只停留在“服务启动成功”,而是能真的看到一条告警是怎么从 Suricata 走到平台页面的。

整个部署还是三步:

  1. 先部署 Kafka。
  2. 再部署探针和规则引擎。
  3. 最后部署分析平台。

1. 部署 Kafka,并确认 topic 创建成功

Kafka 放在 rules-engine/deploy/ 目录下,先进入这个目录:

cd rules-engine/deploy
cp .env.example .env
cp configs/probe-stack.env.example configs/probe-stack.env

编辑 .env,重点是 Kafka 对外地址和账号密码:

KAFKA_EXTERNAL_HOST=<探针主机实际网卡 IP>
KAFKA_EXTERNAL_PORT=9092
KAFKA_SASL_USERNAME=kafka
KAFKA_SASL_PASSWORD=<强密码>

这里建议写实际网卡 IP,不要写 127.0.0.1。后面分析平台里的 Logstash 也要通过这个地址来拉 Kafka 数据。

启动 Kafka:

docker compose up -d
docker compose ps
docker compose logs -f kafka kafka-init-topics

这里会启动两个容器:kafka 和 kafka-init-topics。后者只负责初始化 topic,创建完成后退出是正常的。

简单解释一下 topic。你可以把 Kafka 里的 topic 理解成“消息分类的队列”。探针写原始告警时写到一个 topic,规则引擎处理后的富化告警再写到另一个 topic。消费者只要订阅对应 topic,就能拿到自己关心的数据。

JustSoc 默认会用到这几个 topic:

  • selk.suricata.eve:探针写入的 Suricata 原始告警。
  • selk.alerts.enriched:规则引擎写入的富化告警。
  • selk.eve.raw:保留的原始 EVE 数据 topic。

可以执行下面的命令确认 topic 已经创建:

docker compose exec kafka sh -lc '
cat >/tmp/client.properties <<EOF
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${SASL_USERNAME}" password="${SASL_PASSWORD}";
EOF
/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server localhost:9092 \
  --command-config /tmp/client.properties \
  --list
'

如果能看到 selk.suricata.eve 和 selk.alerts.enriched,说明 Kafka 这一层已经准备好了。

2. 部署探针和规则引擎,并观察两段 Kafka 数据

Kafka 准备好以后,继续在 rules-engine/deploy/ 目录里执行初始化脚本:

./init-config.sh

第一次执行时,脚本会根据 configs/probe-stack.env.example 创建 configs/probe-stack.env,并交互式提示你选择采集网卡、填写 Kafka 地址、用户名和密码。这里按提示输入即可,不需要提前手动编辑。

需要注意的值主要是:

  • 采集网卡:例如 eth0,多网卡可以输入 eth0,eth1,也可以按提示选择多个编号。
  • Kafka 地址:<探针主机实际网卡 IP>:9092。
  • Kafka 用户名:和 Kafka .env 中的 KAFKA_SASL_USERNAME 保持一致。
  • Kafka 密码:和 Kafka .env 中的 KAFKA_SASL_PASSWORD 保持一致。

然后安装 systemd 服务:

sudo ./install.sh

先看服务是否正常:

systemctl status selk-probe justsoc-threat-engine selk-probe-dispatcher

测试

我们可以对靶场打一个RCE的测试,看看真实的数据走向。因为这里使用了updatexml报错注入,所以接下来会根据这个来筛选。

看看 Suricata 是否真的产生了 EVE 日志:

sudo tail -f /var/log/suricata/eve.json|grep updatexml|jq .

如果这里持续有 JSON 日志写入,说明第一步已经通了:流量进入 Suricata,Suricata 产生原始事件。

接下来检查 selk-probe 是否把原始告警推到了 Kafka 的 selk.suricata.eve:

docker exec kafka sh -lc '
cat >/tmp/client.properties <<EOF
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${SASL_USERNAME}" password="${SASL_PASSWORD}";
EOF
/opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --consumer.config /tmp/client.properties \
  --topic selk.suricata.eve \
  --from-beginning \
  --timeout-ms 10000
'|grep updatexml|jq .

如果能消费到一条 JSON,说明第二步通了:selk-probe 已经把 Suricata 原始告警写入 Kafka。

然后再看 threat-engine 是否把分析后的告警写入 selk.alerts.enriched:

docker exec kafka sh -lc '
cat >/tmp/client.properties <<EOF
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${SASL_USERNAME}" password="${SASL_PASSWORD}";
EOF
/opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --consumer.config /tmp/client.properties \
  --topic selk.alerts.enriched \
  --from-beginning --timeout-ms 10000
'|grep updatexml|jq .

如果这里也能看到数据,说明第三步通了:threat-engine 已经消费原始告警,并产生富化告警。

这时数据走向已经很清楚了:

Suricata eve.json
  -> selk-probe
  -> Kafka: selk.suricata.eve
  -> threat-engine
  -> Kafka: selk.alerts.enriched

如果某一步看不到数据,就回到对应服务日志里查:

journalctl -u selk-probe -f
journalctl -u justsoc-threat-engine -f
journalctl -u selk-probe-dispatcher -f

3. 部署分析平台,并确认数据进入 ES 和页面

探针侧链路通了以后,回到仓库根目录启动分析平台:

cd ../../
chmod +x start.sh
./start.sh

脚本会提示填写 Kafka 参数。这里必须和探针侧保持一致:

KAFKA_BOOTSTRAP=<探针主机实际网卡 IP>:9092
KAFKA_SASL_USERNAME=kafka
KAFKA_SASL_PASSWORD=<与探针侧一致>

平台启动后,先看容器状态:

docker compose ps

然后重点看 Logstash。Logstash 的作用是从 Kafka 的 selk.alerts.enriched 拉取富化告警,再写入 Elasticsearch:

docker compose logs -f logstash

如果 Logstash 没有报 Kafka 连接失败、SASL 认证失败、ES 写入失败,说明分析平台开始接数据了。

接下来确认 Elasticsearch 里有没有索引。可以直接用命令看:

curl "http://localhost:9200/_cat/indices/selk-*?v"

也可以在 Kibana 的 Dev Tools 里执行:

GET _cat/indices/selk-*?v

正常情况下,你应该能看到类似 selk-suricata-YYYY.MM.dd 的索引。这个索引出现,说明数据已经完成了:

Kafka: selk.alerts.enriched
  -> Logstash
  -> Elasticsearch

最后打开平台:

http://<平台主机 IP>:3000

进入告警页面,查看是否能看到对应告警。如果平台能看到告警,就说明整条链路完整跑通了:

Suricata 产生 eve.json
  -> selk-probe 推送原始告警到 Kafka
  -> threat-engine 生成富化告警
  -> Logstash 从 Kafka 拉取
  -> Elasticsearch 生成索引
  -> Platform 展示告警

这个告警页面,也是蓝队人员日常用得最多的页面之一。研判人员会根据页面里展示的告警名称、源 IP、目标 IP、请求 URL、请求包、响应包、规则命中信息、攻击类型和风险等级,判断这条告警到底是误报、扫描探测、真实攻击尝试,还是已经存在攻击成功的迹象。换句话说,前面的采集、传输、分析和存储,最终都是为了让蓝队人员在这里把告警看明白,并决定后续要不要封禁、溯源、处置或升级事件。

4. 推荐的学习部署方式和规则说明

如果条件允许,我更推荐把探针和 Kafka 部署在一起,把分析平台单独部署。这样更接近真实项目里的分布式部署模式:探针侧负责采集、初步处理和消息缓存,分析中心负责拉取、存储、检索和展示。

这种拆法有几个好处。第一,你能更清楚地看到 Kafka 在中间承担的解耦作用;第二,探针侧和分析中心可以独立重启,不会互相强绑定;第三,后面排错时思路也更清楚,先看探针有没有写入 Kafka,再看分析平台有没有从 Kafka 拉取。

如果想做一个更有意思的实验,也可以把探针和 Kafka 部署到 VPS(Kafka不要设置弱口令哦!),把分析平台部署到本地电脑。这样 VPS 暴露在公网,平台在本地拉取 Kafka 里的富化告警,你就可以观察是否有人扫描或攻击你的 VPS。

不过这里有一个容易忽略的点:默认情况下,JustSoc 会根据采集网卡的本机 IP 自动生成白名单过滤规则,用来减少探针主机自身通信带来的噪声。生效的为一个bpf文件:

rules-engine/deploy/configs/probe-whitelist.generated.bpf

如果你就是想观察 VPS 本机被扫描、被访问、被攻击的流量,就需要去掉这层本机流量过滤。比较简单的做法是把这个 BPF 文件内容改成:

greater 0

这样表示不过滤本机 IP,尽量把采集到的流量交给 Suricata 规则检测。注意,重新执行 ./init-config.sh 可能会重新生成这个文件,所以可以等待init完成后再进行修改。

5. 规则库扩展

由于这个项目的主要目的是教学,加上个人精力有限,所以目前内置规则主要覆盖 HTTP 协议相关的 Web 攻击,比如命令执行、SQL 注入、XSS、文件上传、路径穿越、常见框架漏洞等。

Suricata 的第一层规则主要在:

rules-engine/suricata-rules/

部署包中同步后的规则目录是:

rules-engine/deploy/suricata-rules/

规则引擎的第二层规则在:

rules-engine/go-engine/configs/engine-rules.yaml

这里可以顺便讲一下 JustSoc 的规则分层。Suricata 规则更适合做第一轮快速命中,比如固定路径、固定 Header、明显的请求参数、稳定的 payload 片段。go-engine 规则更适合做二次判断,比如多个弱特征组合、URL 和请求体一起看、结合 correlated_http 做上下文研判,或者补充攻击阶段、攻击成功、风险等级这类字段。

为了让大家更方便地学习规则扩展,我在 rules-engine/.claude/skills/ 下面放了两个 AI 辅助编写规则的技能:

rules-engine/.claude/skills/rule-library-writer/
rules-engine/.claude/skills/alert-pipeline-optimizer/

三、AI 辅助研判

本文就不再为研判相关内容扩展篇幅了,但是为了帮助大家学习实际的研判知识,JustSOC也加入了时下流行的AI研判功能,可以为研判方面的学习提供一些帮助

JustSoc 里目前做了两种能力:一种是单条告警 AI 研判,另一种是聚合级 Agent 调查。

单条告警 AI 研判比较好理解。你在告警详情里点击 AI 研判,平台会把当前告警的关键信息整理出来,包括告警名称、请求包、请求体、响应包、规则信息,以及 engine.attack_* 这些规则引擎已经算好的辅助字段。AI 不需要从零开始猜,而是在这些证据上做一次结构化总结。

1. 单条研判

单条研判接入的时openai协议,在AI接入中进行配置,保存配置后,记得测试。

可以在告警详情中点击AI研判,来使用

2. Ai Agent 调查

另一类是 AI Agent 调查。这个功能不是盯着单条告警看,而是从聚合结果出发,比如某个源 IP 在一段时间内打了很多目标,或者某个攻击类型集中爆发。平台会先把这个聚合桶里的告警做摘要,挑出代表样本、高频规则、主要目标 IP、成功告警数量等信息,再交给 Agent 继续调查。

agent调查接入的是claude code SDK,需要填入anthropic规范的配置,同样,配置完成后记得测试

配置完成后,点击测试bridge健康状态 和 ES_MCP 初始化

在聚合告警中,点开一个告警即可调查了

右下方悬浮球可以打开或关闭窗口