Tell NYT, Atlantic, USA Today to Keep Wayback Machine

来源：HackerNews

# 拯救互联网记忆：为什么开发者应该关注 Wayback Machine 保卫战

## 背景与概述

2024年初，一场关于互联网档案存亡的静默危机正在发酵。《纽约时报》、《大西洋月刊》、《今日美国》等主流媒体的法律团队正通过诉讼威胁，试图迫使互联网档案馆（Internet Archive）下架其历史存档内容。作为回应，"Save the Archive"运动发起公开倡议，呼吁这些新闻机构的领导者重新考虑立场，保护 Wayback Machine 这一人类共同的数字记忆库。

Wayback Machine 自1996年上线以来，已累计存档超过8660亿个网页，成为研究历史、验证信息、追溯网络演变的核心基础设施。对于中国开发者而言，这个工具同样意义非凡——无论是排查已下线文档、追踪技术变迁，还是研究开源项目的历史版本，Wayback Machine 都是不可或缺的"时间机器"。然而，版权诉讼的压力正在侵蚀这一公共服务的生存空间，其背后反映的是数字时代"内容所有权"与"信息可及性"之间的深层张力。

这场争议的核心矛盾在于：新闻媒体希望严格控制其内容的传播与变现，而互联网档案馆则基于"合理使用"原则，主张为公共利益保存历史记录。当《纽约时报》等机构的律师函飞向互联网档案馆时，受威胁的不仅是一个非营利组织，更是整个开放互联网的基础设施。

## 核心内容

### 一、诉讼威胁的具体指向

当前争议主要围绕互联网档案馆的"借阅"服务展开。该服务在COVID-19期间临时放宽了数字借阅限制，允许用户同时"借阅"扫描版图书的电子版。尽管该政策已调整，但出版商和新闻媒体集团正借此发难，试图从根本上挑战互联网档案馆的存档合法性。Wayback Machine 的网页快照功能虽非直接目标，但一旦核心诉讼得手，其法律基础将遭受连带冲击。

### 二、Wayback Machine 的独特价值

与商业搜索引擎的缓存不同，Wayback Machine 提供的是**系统性、持续性、不可篡改**的历史存档。其关键特性包括：

- **时间维度完整性**：按固定周期抓取，形成可对比的时间序列
- **去中心化存证**：即使原始站点消失或篡改，存档版本依然可访问
- **API 开放访问**：支持程序化检索，集成至各类研究和工作流工具

对于技术社区，这意味着我们可以追溯到1998年的 Google 首页原型、查看已解散公司的技术文档、甚至验证某个安全漏洞披露的历史时间线。

### 三、新闻机构的矛盾立场

颇具讽刺意味的是，这些起诉互联网档案馆的新闻机构，自身也是 Wayback Machine 的重度使用者。记者在核实引述、调查旧闻时频繁依赖该工具；法律团队在诉讼中常以网页存档作为证据。这种"既依赖又摧毁"的双重姿态，暴露了商业利益与公共价值之间的撕裂。

### 四、国际视野下的存档危机

这并非孤例。欧盟的"被遗忘权"立法、各国的网站屏蔽政策，都在不同程度上威胁数字记忆的完整性。中国开发者熟悉的场景包括：技术博客平台关闭导致大量教程消失、CDN 更换域名后文档链接失效、开源项目迁移后 Release 页面无法访问。在全球化的技术生态中，Wayback Machine 的存废具有超越国界的意义。

### 五、社区动员与行动路径

"savethearchive.com" 倡议提供了具体的参与渠道：向媒体机构决策者发送邮件、在社交媒体发声、以及通过技术社区扩大声量。对于拥有国际影响力的中国开发者群体，理性表达支持立场同样能够形成压力。

## 技术分析

Wayback Machine 的技术架构堪称大规模分布式系统的经典案例，其核心设计对理解网络存档技术具有重要参考价值。

### 分布式爬虫与调度系统

互联网档案馆运营着名为 **Heritrix** 的开源网络爬虫，采用广度优先的抓取策略：

// Heritrix 配置示例：定义抓取范围

<class>org.archive.crawler.scope.ClassicScope</class>

<seeds>

<value>http://example.com/</value>

</seeds>

<maxHops>6</maxHops> // 链接深度限制

</crawlScope>


爬虫集群遵循 robots.txt 协议（存在争议的历史话题），但通过"存档友好"的慢速策略避免对目标站点造成负担。抓取后的内容经过去重、压缩，存入 **WARC（Web ARChive）格式**——这是 ISO 28500 国际标准，确保长期可读性。

### 存储与检索架构

存档数据采用分层存储策略：

| 层级 | 介质 | 用途 |
|:---|:---|:---|
| 热数据 | SSD 集群 | 高频访问的近期存档 |
| 温数据 | 机械磁盘阵列 | 中期存档，成本优化 |
| 冷数据 | 磁带库（LTO） | 历史存档，离线容灾 |

检索层面，CDX（Capture Index）文件提供 URL+时间戳 到 WARC 偏移量的映射，支持毫秒级的存在性查询：

通过 CDX API 查询存档历史

curl "https://web.archive.org/cdx/search/cdx?url=example.com&output=json&fl=timestamp,original"


### 前端回放技术

Wayback Machine 的页面回放并非简单 iframe 嵌套，而是复杂的重写引擎（Wayback Machine Rewrite Engine）。它需处理：

- URL 重写到存档域名，避免"泄露"到当前网络
- JavaScript 执行环境的沙箱隔离
- Cookie、LocalStorage 等存储机制的模拟

这类似于现代前端工程中的微前端隔离方案，但实现于二十年前且需兼容海量历史网页。

## 实践建议

### 作为开发者的防御性存档

不要假设任何在线资源永久可用。建立个人/团队的存档习惯：

使用 waybackpy 自动提交 URL 到 Wayback Machine

pip install waybackpy

Python 脚本：批量存档技术文档

from waybackpy import WaybackMachineSaveAPI

import time

urls = [

"https://docs.example.com/api/v2",

"https://blog.example.com/deprecated-guide"

]

for url in urls:

save_api = WaybackMachineSaveAPI(url, user_agent="my-archive-bot")

try:

archived_url = save_api.save()

print(f"Archived: {archived_url}")

time.sleep(5) # 遵守速率限制

except Exception as e:

print(f"Failed {url}: {e}")


### 集成至 CI/CD 流程

在发布文档站点时，自动触发存档：

GitHub Actions 示例

name: Archive to Wayback Machine

run: |

curl -X POST "https://web.archive.org/save/${{ steps.deploy.outputs.url }}"

if: github.ref == 'refs/heads/main'


### 构建本地镜像能力

对于关键依赖，考虑使用 **ArchiveBox** 自建存档节点：

docker run -v ~/archivebox:/data -it archivebox/archivebox init

docker run -v ~/archivebox:/data -it archivebox/archivebox add 'https://critical-docs.example.com'


### 参与政策倡导

在技术社区分享存档最佳实践，向国际同行传递中国开发者对开放互联网的支持。技术无国界，基础设施的公共性需要跨国界的共识维护。

## 总结

Wayback Machine 的保卫战本质上是关于"谁拥有历史"的斗争。当商业利益试图将信息锁进付费墙和版权牢笼时，技术社区应当清醒认识到：我们今日依赖的每一个文档链接、每一段代码示例、每一篇技术博客，都可能在未来某个时刻从网络上消失。保存这些记忆，不仅是档案学家的工作，更是每个开发者的职业责任。中国技术群体在全球开源生态中扮演着日益重要��角色，我们对 Wayback Machine 的支持，既是对开放精神的捍卫，也是对自身技术遗产的保护。互联网的记忆不容篡改，更不应被轻易抹去。

文章摘要