Journal
Tagged robots-txt.
4 journal entries tagged robots-txt, newest first.
- 0 of 550 top homepages send noai. 21 send Bing's noarchive.Meta robots and X-Robots-Tag on the Tranco top 1,000 homepages on 2026-10-06 (550 read): which page-level AI directives are actually used, where meta and header disagree, how they line up with robots.txt, and how to write one consistent policy.First published on dev.to · 7 min read
- 上位550サイトのnoaiは0件、Bingのnoarchiveは21件Trancoの上位1,000ドメインのトップページ550件(2026-10-06取得)で、meta robotsとX-Robots-Tagを読みました。ページ単位のAI向け指定で実際に使われているもの、metaとヘッダーの食い違い、robots.txtとの突き合わせ、一貫したポリシーの書き方。5 min read
- 111 of the top 1,000 sites block GPTBot. 35 never mention the bot behind ChatGPT search.robots.txt on the Tranco top 1,000 on 2026-10-06 (545 files): which AI tokens control training and which control answers, how often each is blocked, and the mistakes real files make, from orphaned legacy tokens to named groups that silently drop the * rules.First published on dev.to · 8 min read
- 111サイトがGPTBotを拒否、35件は検索用に触れずTrancoの上位1,000ドメインのrobots.txt 545件(2026-10-06取得)を、学習用と回答用のAIトークンに分けて集計しました。それぞれの拒否の数と、実際のファイルにあった誤り(使われていない旧トークン、*のルールを黙って外す名前付きグループなど)。7 min read