このウェブサイトにはJavaScriptが必要です。
エクスプローラー
076
ヘルプ
サインイン
suwako
/
Nitter-mod
アーカイブ
ウォッチ
1
スター
0
フォーク
Nitter-mod はフォーク済み
0
コード
イシュー
1
プルリクエスト
プロジェクト
リリース
Wiki
アクティビティ
このリポジトリは
2023-09-09
にアーカイブされています。 ファイルの閲覧とクローンは可能ですが、プッシュ、イシューの作成、プルリクエストはできません。
a253798b94
Nitter-mod
/
public
/
robots.txt
6 行
74 B
Plaintext
Raw
通常表示
履歴
エスケープ解除
エスケープ
Block search engines via robots.txt (#631) Prevents instances from being rate limited due to being senselessly crawled by search engines. Since there is no reason to index Nitter instances, simply block all robots. Notably, this does *not* affect link previews (e.g. in various chat software).
2022-06-05 00:48:25 +09:00
User-agent: *
Disallow: /
Add Crawl-delay to robots.txt
2023-01-09 08:12:07 +09:00
Crawl-delay: 1
Fix Twitterbot rule in robots.txt
2022-06-05 00:55:35 +09:00
User-agent: Twitterbot
Disallow: