WaybackMachineを介して1ページを保存するには次の場所に移動できます:
ウェイバックマシンでウェブサイトを再帰的にアーカイブするにはどうすればよいですか?
wayback-machine-downloader
などのプロジェクトがあります。しかし、私はウェブサイトを再帰的にアップロードできる機能を探しています。
コメント
- URLテクニックを使用するのに問題がありますかあなたの質問に言及しますか?私は'何百回も動作しましたが、'も何度も失敗しました。異なる日付の同じページでも、約80%の成功率が得られます。
回答
以降 Wayback Machine はそのような機能を提供していませんが、いくつかの回避策を見つけました。
-
まず、
wget
、例wget -m https://example.com/
-
次に、
curl
を使用してすべてのページを1つずつアーカイブしますダウンロードしたもの。find . -name "*.html" -exec curl -v "https://web.archive.org/save/https://{}" ";"
注:
.html
を
、または特定の種類のファイルを含めます。
コメント
- サイトが拡張機能(htmlやphpなど-SEがセットアップされているように)を使用していない場合'コマンドをどのように適応させますか?
-
-name "*.html"
を-type f
に変更して、すべてのファイルを含めることができます。 - これはクエリパラメータでどのように機能しますか?
- 'は機能しなくなったようです。429TooManyRequestsを出力します
-
--convert-links
引数も役立つ場合があります。前者はリンクを相対的なものにします。これには、ドメインURLを" save / https:///domain"に追加する必要があります。ただし、サイトが絶対URLを使用していない場合に役立ちます'絶対URLを使用します。