同一个目标,为什么不同搜索引擎看到的东西不一样?——从搜索引擎差异到 Web 攻击面发现
一次多搜索引擎黑盒对照与真实 Web 打点实践
红队看到的互联网,可能并不是完整的互联网
在 Web 渗透测试和红队行动中,信息搜集通常是整个攻击链的第一步。
常见流程大致如下:
其中搜索引擎往往是最容易被忽视的一环。
很多时候,我们习惯固定使用某一个搜索引擎,配合 site:、inurl:、intitle: 等搜索语法进行资产发现。
但这里其实存在一个很有意思的问题:如果目标、搜索语句、时间都保持不变,只更换搜索引擎,最终得到的攻击面会完全一样吗?
我的实际测试告诉我:并不会。
不同搜索引擎之间存在明显的信息差。
对于红队来说,这种差异并不只是“哪个搜索引擎更好用”的问题。
它可能直接影响:你能不能看到某个资产。
甚至进一步影响:你能不能发现某个漏洞。
一、先说一个容易混淆的问题:浏览器和搜索引擎
很多时候我们会说:“我换了浏览器,怎么搜出来的东西不一样?”
但严格来说,浏览器本身通常不是造成搜索结果差异的核心因素。
例如:
浏览器主要负责:
而真正决定:"有哪些页面能够进入结果集合"的,是后面的搜索引擎.
因此重点并不是 Chrome、Firefox、Safari 等浏览器的渲染差异,而是:
不同搜索引擎背后的抓取、索引、排序以及内容处理体系差异。
浏览器仅仅承担请求转发、页面渲染的工作。哪怕你使用完全相同的浏览器,切换搜索引擎之后,返回资产列表依然会发生改变。在实际渗透过程里面,很多安全从业者会陷入误区:更换浏览器反复刷新,却不去更换情报数据源,白白浪费大量资产挖掘机会。
二、搜索引擎到底在“看”什么?
可以把一个搜索引擎非常粗略地抽象成:
这里至少存在几个会影响最终结果的变量。
1.Crawler
搜索引擎需要首先发现和抓取网页。
不同搜索引擎在页面发现、抓取频率、JavaScript 处理、URL 发现等方面存在差异。
因此:一个页面能够通过浏览器直接访问,并不意味着它一定存在于所有搜索引擎的索引中。
2.Index
即使一个页面被搜索引擎抓取,也需要进入其索引体系。
不同搜索引擎拥有自己的索引数据。
可以简单理解成:
Internet
A
B
C
D
E
F
G
Google Index:
A B C D
Baidu Index:
B C E F
DuckDuckGo:
A D E G
那么同样一个 Query:
Google → A B C D
Baidu → B C E F
DuckDuckGo → A D E G
自然不会得到完全相同的结果。
3.Ranking
还有一种情况更加有意思。
假设两个搜索引擎实际上都收录了:
A B C D
但排序完全不同:
Google:
A
B
C
D
而另一个搜索引擎
C
D
A
B
对于普通用户来说,只是搜索体验不同。
但对于红队来说:
排名靠前的内容,就是更早进入情报分析视野的内容。
因此排序差异本身也可能影响攻击面发现效率。
很多低优先级、冷门的资产 URL 虽然已经被搜索引擎收录,但是排序非常靠后。人工搜集的时候通常只会浏览前 1‑3 页搜索结果,大量有价值资产直接被人工忽略。不同搜索引擎的权重、排序算法,会直接改变资产曝光顺序。
三、我的黑盒假设
在没有搜索引擎内部数据的情况下,我们当然无法直接知道:
“为什么 URL A 出现在 Google,而没有出现在 DuckDuckGo?”
所以我没有尝试直接猜内部实现,而是把问题转换成一个可以实验的问题:
相同目标 + 相同 Query + 不同搜索引擎,最终结果集合是否存在明显差异?
如果答案是肯定的,那么对于红队来说就意味着:
单一搜索引擎
↓
单一信息视角
↓
潜在资产遗漏
而:
多个搜索引擎
↓
结果集合交叉
↓
发现独有信息
↓
扩大攻击面
这就是后续实验的核心
四、控制变量实验
为了避免搜索条件不同造成干扰,我采用控制变量的方法。
固定:
目标:同一目标
Query:相同
搜索时间:尽可能接近
语言:一致
地区:尽量一致
大致模型为:
下面给出实验结果:
Query:site:whitehouse.gov inurl:login
Target:Baidu
Target:Google
Target:Duck Duck Go
五、实验结果:搜索结果实际上是不同的信息集合
可以看到有的搜索内容是在三个搜索引擎都存在的,但是之间也是各有不同
Google = {A, B, C, D}
Baidu = {B, C, E}
DuckDuckGo = {A, D, E, F, G}
共同结果 = {B, C}
独有结果 = {A, D, E, F, G}
六、搜索引擎对红队究竟有什么意义?
单引擎攻击面
Target
│
▼
Search Engine A
│
▼
Asset Set A
│
▼
部分攻击面画像多引擎攻击面
Target
│
┌───────────┼───────────┐
▼ ▼ ▼
Google Baidu DDG
│ │ │
▼ ▼ ▼
Set A Set B Set C
└───────────┼───────────┘
▼
A ∪ B ∪ C
▼
Asset Profile
七、实战,真实web打点经历(美国某gov网站)
我把自己之前的一次 Web 安全研究作为案例。
当时最初进行信息搜集时,我使用常规搜索语句进行检索。
百度的结果并不理想,返回内容主要集中在一些泛化页面。
随后切换到 Google。
Google 的结果明显改善,但仍然只有一个比较简单的登录入口,进一步查看后没有发现明显的业务功能。
这时候我做了一个很简单的动作:
换一个搜索引擎。
我将相同方向的搜索交给 DuckDuckGo。
结果出现了明显变化。
搜索结果中出现了更多与目标业务相关的页面。
这里真正有意思的不是 DuckDuckGo搜出来了,而是通过Duck给出的信息,挨个尝试访问,得到的结果是:
进一步分析其中一个页面后,我发现它对应的是一个实习项目管理系统入口。
在继续验证时,发现其注册功能缺少有效的访问限制,可以直接无限创建账户
最终
这件事让我第一次真正意识到:
搜索引擎并不是漏洞本身,但搜索引擎决定了你首先能够看到哪些攻击面。
如果没有看到那个页面,后面的漏洞验证甚至不会发生。
八、这个案例真正证明了什么?
我并不认为这个案例能够证明:“DuckDuckGo 比 Google 更强。”
因为单个目标、单次实验根本不足以得出这种结论。
它真正证明的是:不同搜索引擎之间存在的信息差,在真实 Web 安全研究中可能转化成攻击面差异。
也就是:
Index Difference
↓
Information Difference
↓
Attack Surface Difference
↓
Vulnerability Discovery Difference
这才是这个案例对于本文的意义。
所以这个案例不是全文主角。
它只是前面黑盒实验结论的一个真实佐证。
A、从“单引擎搜索”到“多源情报融合”
经过这次经历以后,我在进行 Web 情报搜集时更倾向于:
不要把任何一个搜索引擎当成完整的互联网。
而是:
这里最值得关注的是:
不是“多搜几遍”。
而是:
比较不同信息源之间的差异。
例如:
Google 独有 URL
Baidu 独有 URL
DuckDuckGo 独有 URL
这些“差集”往往比三个搜索引擎共同返回的结果更加值得关注。
九、总结
红队视角下我们所能看见的互联网,仅仅是搜索引擎给我们展示出来的一部分互联网。各个爬虫抓取策略、索引规则、排序权重各不相同,天然会形成资产信息差。只依赖单一搜索引擎开展资产测绘,非常容易漏掉关键攻击面。多源情报、差集优先,应当成为 Web 信息搜集阶段一个基础的工作思路。