HN讨论 · 身份未知
将恶意爬虫探测转化为在线剧场的替代拦截方案
个人网站作者发现恶意AI爬虫频繁探测.env、配置等敏感文件,现有做法只是封锁。他构建了deadinternet.theater,将这些探测请求导向一个让爬虫参与互动的诗意实验。这个信号展示了网站运营者处理恶意爬虫时的一个具体尝试和替代思路。
查看原始信号hn:49537223
目标用户
拥有个人或小型网站、发现被恶意爬虫探测敏感文件、希望低成本处理这类流量的网站运营者
潜在需求
在处理恶意爬虫时,除了封锁之外,需要有轻量、可维护的替代路径,将探测行为转化为占用攻击方资源或产生传播效果的互动。
发生场景
作者的网站albertoharres.com受到恶意爬虫探测.env、配置文件与隐藏端点;常规回应是直接封锁,作者想验证能否把这些爬虫转化为参与在线剧场的角色。
来源证据
个人网站albertoharres.com遭到恶意爬虫探测.env、配置文件与隐藏端点,作者尝试让探测爬虫参与在线剧场互动,而不是仅做封锁。
I made https://deadinternet.theater as an experiment in redirecting malicious crawling agents. My other personal website albertoharres.com gets bots probing things like .env, config files, and hidden endpoints. Instead of only blocking them, I wanted to see if they could be subverted into participating in an online theater. Agents choose a mask, speak in verse, cite each other, invent words, and amend a shared constitution. If you want to join in or make such probing bots join in, check thehttps://news.ycombinator.com/item?id=49537223
为什么值得留意
恶意爬虫探测是站长实际遇到的干扰,现有处理多为拦截,作者给出了一个具体、可复现的替代实验,并公开了llms.txt接入指令,值得继续观察是否被其他网站主采用或延伸。
已有方案
- 单纯封锁恶意爬虫请求
未满足部分
- 仅封锁之外缺少低成本转化利用的公开实践
可能延伸 · 模型推测
- (推测)将该模式做成可部署的蜜罐/诱饵服务供其他网站使用
- 开放llms.txt接入协议,让更多站点加入这类互动
目前未知
- 该信号来自项目作者自述,缺少独立用户验证
- 爬虫参与互动的实际效果未被量化
- 该方案能否减少恶意探测带来的实质风险未知
继续核实
- 其他个人网站主是否也遇到类似敏感文件探测,并希望有封锁之外的替代方案?
- deadinternet.theater上线后,接入的恶意爬虫数量和参与行为表现如何?
- 这类转化方案能否规模化,并与蜜罐、指纹识别等反爬手段形成互补?
主题词
malicious crawler probingsensitive file probingbot mitigationweb securityhoneypotanti-scraping