1. 问题定义与技术约束

1.1 检测目标与工程约束

在大规模硬编码检测中,我们需要从海量前端代码中精准定位硬编码的密钥、Token等关键信息。这本质上是一个二分类任务:输入代码中的字符串,输出“是敏感信息”或“不是”。但在实际工程落地时,算法必须同时满足四项硬性指标:

  • 高召回率:安全扫描宁可多报,不可漏报。真实密钥的检出率需稳定在 80% 以上。
  • 可控的误报率:告警必须可处理、可复核。误报比例需控制在 50% 以内,避免安全团队被无效噪音淹没。
  • 轻量无外部依赖:不依赖网络请求、大模型 API 或重型运行时,保证离线可用、部署简单、推理成本趋近于零。

1.2 硬编码密钥的统计特征抽象

我们定义了以下3种维度来识别硬编码:

  1. 高信息熵(随机性强):密钥通常由随机生成器或密码学算法输出,字符分布均匀,缺乏人类可读的拼写规律。
  2. 低自然语言占比:与 userProfile、fetchData 等代码标识符不同,密钥极少由完整的英文单词拼接而成。使用分词工具处理后,命中通用词典的比例通常低于 30%。
  3. 典型长度区间:受限于加密标准与传输协议,主流密钥长度通常集中在 8~64 个字符之间。过短多为弱口令或测试占位符,过长则多为 Base64 编码块或证书片段。

基于上述规律,我们将检测问题转化为“基于可计算统计特征的模式识别”。不再依赖难以维护的正则表达式堆砌,而是通过熵值、词典匹配度等相互独立的指标构建评分模型,让算法通过“数据分布差异”自动区分密钥与普通代码字符串。

2. 核心算法设计

2.1 多维度计算

2.1.1 熵值特征 $E(s)$:随机性度量

采用归一化香农熵消除长度偏差:
E(s)=H(s)log⁡2(min⁡(∣s∣,∣Σ∣)),H(s)=−∑c∈Σpclog⁡2pcE(s) = \frac{H(s)}{\log_2(\min(|s|, |\Sigma|))}, \quad H(s) = -\sum_{c \in \Sigma} p_c \log_2 p_c
其中 psp_s为字符 cc 的出现频率,Σ\Sigma 为字符集。

长度校准:短串因采样不足导致熵值虚高,会导致短字符串的得分更高进而影响结果,于是我们引入 Sigmoid 衰减因子:
Ecal(s)=E(s)⋅σ(L;L0,k),σ(L)=11+e−k(L−L0)E_{cal}(s) = E(s) \cdot \sigma(L; L_0, k), \quad \sigma(L) = \frac{1}{1 + e^{-k(L - L_0)}}
参数设定:
L0=12L_0=12(校准中心),k=0.3k=0.3(衰减速率)。当 l=7l=7 时 sigma≈0.4sigma \approx 0.4,l=20l=20 时 sigma≈0.95sigma \approx 0.95,实现短串压制、长串保留(以上数据为本地实验数据,非最优解)。

2.1.2 语义占比特征 $P(s)$:自然语言倾向

通过分词与词典匹配量化字符串的"人类语言"程度:
P(s)=∑w∈Wvalid∩D∣w∣∑w∈Wvalid∣w∣P(s) = \frac{\sum_{w \in W_{valid} \cap D} |w|}{\sum_{w \in W_{valid}} |w|}
其中:

  • WvalidW_{valid}:分词后长度 >3>3 的有效词集合
  • DD:NLTK 通用词典 ∪ 技术词表(api, token, config 等)

双路分词融合:提升技术复合词的识别率(其实这个可以考虑删去,但是我偷懒没有评估)

# 驼峰切分:Uint8Array → ['uint', '8', 'array']
def _camel_split(s):
    return re.findall(r'[A-Z]?[a-z]+|[A-Z]+(?=[A-Z]|$)', s)

# 融合策略:取并集去重,避免漏判
all_words = set(wordninja_split(s) + _camel_split(s))

注:当前分词器依赖wordninja,词库依赖NLTK,可能对部分单词不敏感,需要手动补充TECH_WORDS

2.2 评分模型:线性加权 + Sigmoid 映射

2.2.1 基础分计算

Base(s)=we⋅Efinal(s)−wp⋅P(s)\text{Base}(s) = w_e \cdot E_{final}(s) - w_p \cdot P(s)
权重设定:
we=0.95w_e = 0.95(正向),wp=1.2w_p = 1.2(负向)。 负向权重略高于正向权重,可对边界模糊样本优先判定为正常代码,在保障核心密钥检出能力的同时严格控制误报;若需进一步降低漏报风险,也可适当提高正向权重、降低负向权重,依托后续大模型验证环节兜底,在提升召回率的同时避免告警噪音泛滥。

2.2.2 概率映射与阈值决策

Score(s)=11+e−β(Base(s)−μ),β=3.5,μ=0.45\text{Score}(s) = \frac{1}{1 + e^{-\beta(\text{Base}(s) - \mu)}}, \quad \beta=3.5, \mu=0.45
动态阈值策略平衡长短串差异:
θ(s)=θ0⋅{0.9∣s∣<161.1∣s∣>1001.0otherwise,θ0=0.72\theta(s) = \theta_0 \cdot \begin{cases} 0.9 & |s| < 16 \\ 1.1 & |s| > 100 \\ 1.0 & \text{otherwise} \end{cases}, \quad \theta_0 = 0.72
判定规则:
f(s)=I(Score(s)≥θ(s))f(s) = \mathbb{I}(\text{Score}(s) \geq \theta(s))。

​

注意:以上数值是来自于本地数据实验,非最优解。

2.3 工程兜底:确定性规则过滤

2.3.1 路径/URL 拦截

if re.match(r'^\.{0,2}/[a-zA-Z0-9_./-]+$', text):
    return False 

设计依据:真实密钥不会以 ./、../ 或 / 开头,该规则误杀率为 0。

2.3.2 敏感关键词提权

if any(kw in text.lower() for kw in ['password', 'token', 'secret', 'api_key']):
    score = min(score * 1.2, 1.0)  # 上下文增强

在统计特征基础上引入轻量语义信号,提升边界样本召回。

3. 工程实现与性能优化

3.1 架构设计

┌─────────────────┐
│  CodeLineFilter │  ← 预处理:长度/编码/黑名单过滤
└────────┬────────┘
         │
┌────────▼────────┐
│AdvancedSecretFilter│ ← 核心:路径拦截 + 评分 + 动态阈值
└────────┬────────┘
         │
┌────────▼────────┐
│ SecretMathScorer│ ← 特征计算:E/P 正交特征(随机性+语义)
└────────┬────────┘
         │
┌────────▼────────┐
│ LLMSecretVerifier │ ← 大模型二次验证并给出测试建议:代替人工走完最后一公里
└─────────────────┘

4. 效果评估

当前效果评估并未使用LLM(LLMSecretVerifier),仅为算法过滤。

4.1 测试集 A

测试集 A 聚焦典型前端场景,样本总量 1397 条,经人工标注与上下文复核,确认真实硬编码密钥(正样本)为 19 条。模型以阈值 0.72 进行判定,共输出 21 条阳性结果(注:阳性仅代表风险评分越界,属"疑似硬编码",需结合 AST 上下文或 LLM 进行二次裁决)。最终实现对 17 条真实密钥的有效拦截。

4.1.1 高分检出样本分布(脱敏)

以下为模型判定分数最高的前 22 条样本,呈现明显的分数断层与聚类特征:

序号

脱敏后特征名称

长度

特征得分

0

3086d**********e49284eb15

32

0.7872

1

7ae96a***************************719501ee

64

0.7828

2

P2728C450EF7288_*********F3C

31

0.7810

3

P2728C10546B477_*********107

31

0.7806

4

114ca5**********d9d44cfd8

33

0.7804

5

483ada7***************************10d4b8

64

0.7801

6

P2728C10546B477_*********E96

31

0.7797

7

P2728C450EF7288_*********20B

31

0.7786

8

-e4437ed**********abfe4c3

33

0.7768

9

urn:schemas-microsoft-com:***

29

0.7746

10

5363ad4***************************23bd72

64

0.7740

11

P2728C450EF7288_*********26D

31

0.7739

12

P2728C450EF7288_*********8AC

31

0.7722

13

6ba7b811-*********-00c04fd430c8

36

0.7712

14

216936d***************************25d51a

64

0.7702

15

6ba7b810-*********-00c04fd430c8

36

0.7701

16

P2728C450EF7288_*********464

31

0.7691

17

P2728C450EF7288_*********596

31

0.7671

18

xmlchars/xmlns/1.0/***

22

0.7638

19

P2728C450EF7288_*********D92

31

0.7621

20

m,l,21600******,xe

25

0.7512

21

evp_*********ey

14

0.6790

4.1.2 核心性能指标

指标名称

数值

准确率 (Accuracy)

99.86%

精确率 (Precision)

80.95%

召回率 (Recall)

89.47%

F1-Score

85.00%

模型性能评估依托真实前端项目代码与渗透测试捕获样本展开,采用双测试集交叉验证策略,确保评估结果的泛化性与可靠性。

4.2 测试集 B

构建测试集 B,样本总量 1937 条,涵盖 UUID、GUID、URN、Hex 哈希、加密密钥等多种结构化标识符。经标注确认,真实正样本 9 条,模型检出阳性 10 条(含 2 条误报),漏报 1 条。

数据说明:检出阳性 10 条 = TP(8) + FP(2);真实正样本 9 条 = TP(8) + FN(1)。

4.2.1 高分检出样本分布(脱敏)

序号

脱敏后特征名称

长度

特征得分

1

{54EE7950-****-****-****-

25

0.7810

2

795881f4************4852763

32

0.7800

3

{54EE7951-****-****-****-

25

0.7776

4

{D5CDD505-****-****-****-************}

38

0.7748

5

05d5cdd5************2b2cf9ae

32

0.7747

6

urn:schemas-microsoft-com:***

29

0.7746

7

02d5cdd5************2b2cf9ae

32

0.7726

8

uuid:C2F41010-****-****-****-************

41

0.7674

9

e0c9ea79************004ba90b

32

0.7655

10

e0859ff2************2b27b3d9

32

0.7652

4.2.2 核心性能指标

指标名称

数值

准确率 (Accuracy)

99.84%

精确率 (Precision)

80.00%

召回率 (Recall)

88.89%

F1-Score

84.21%

4.3 边界样本分析

4.3.1 高分误报(需人工复核)

evp_*********ey           → Score=0.68  # OpenSSL 函数名

特征分析:含技术词但长度适中,P≈0.5,E 经校准后仍较高。

4.3.2 低分漏报(需阈值调优)

P@ss1!  → Score=0.69  # 短密码,长度衰减过度

特征分析:L=6 触发长度衰减,E 从 0.92→0.25。处理建议:敏感关键词提权机制已覆盖此类样本(password 相关),或单独设置短串阈值下限。

5. 扩展方向与最佳实践

5.1 多语言识别

当前技术方案只针对Javascript,但是实际上方案是通用的可以在Python Java等多种语言当中可进行测试。

6. 实战局限性与设计边界

任何静态检测方案都存在其物理边界,本方案也不例外。在实战部署与大规模扫描中,我们需要正视以下局限:

6.1 “疑似”不等于“可利用”

本算法的核心目标是异常检出而非有效性验证。

  • 统计学异常: 算法能精准识别出长相异于普通代码的“随机串”。
  • 逻辑学缺失: 仅靠静态特征,无法感知该字符串的生命周期(如已过期的 Token、测试环境密钥)或业务含义(如前端生成的临时 Request ID)。
  • 结论: 绝大部分检出的高分样本可能并无实际利用价值。本方案定位为“高效过滤器”,旨在将人工或大模型从万级噪音中解放出来,将审查范围压缩至“可触达”的量级。

6.2 无法规避的“随机性”噪音

由于密钥在数学特征上与某些非敏感随机串高度重合,以下两类样本在纯数学层面是“不可分”的:

  • 结构化标识符: UUID、GUID、部分高熵的哈希值(如 SHA-256 摘要)。
  • 混淆干扰项: 经过重度混淆的 JS 变量名或属性名,其熵值与密钥几乎一致。 这些字符串虽然没有实际安全意义,但符合“高熵、低语义”的特征,会被算法判定为阳性。

6.3 检测能力的权衡

  • 以空间换效率: 本方案选择了轻量化的数学模型,放弃了极耗资源的深度语义流分析(Taint Analysis)。这意味着我们无法通过数据流来判定一个字符串是否进入了敏感汇聚点(Sink)。
  • 召回率优先: 为了防止错过那一颗“真针”,我们接受了少量的“石子”进入终选名单。实战数据证明,将 20,000 条样本压缩至 20 条,即便其中 18 条不可用,剩余 2 条的获取成本也已实现了数量级的下降。

附录:核心代码索引

当前完整代码详细可参考以下文件:
JScanner2/processor/analysis/secret/secret_scanner.py at master · hmx222/JScanner2