Journal
Tagged webdev.
12 journal entries tagged webdev, newest first.
- 0 of 550 top homepages send noai. 21 send Bing's noarchive.Meta robots and X-Robots-Tag on the Tranco top 1,000 homepages on 2026-10-06 (550 read): which page-level AI directives are actually used, where meta and header disagree, how they line up with robots.txt, and how to write one consistent policy.First published on dev.to · 7 min read
- 154 of 529 top homepages have no canonical tag. 15 point to a URL that redirects straight back.Canonical and hreflang on the Tranco top 1,000 homepages, measured 2026-10-06/07 (529 read): missing canonicals, canonical targets that redirect back, invalid hreflang codes and missing return links.First published on dev.to · 7 min read
- 上位550サイトのnoaiは0件、Bingのnoarchiveは21件Trancoの上位1,000ドメインのトップページ550件(2026-10-06取得)で、meta robotsとX-Robots-Tagを読みました。ページ単位のAI向け指定で実際に使われているもの、metaとヘッダーの食い違い、robots.txtとの突き合わせ、一貫したポリシーの書き方。5 min read
- 日本のサイト248件中23件、robots.txtは許可でもAIクローラーには403Trancoの日本のサイト300件を2026-10-07に確認しました。普通に読めた248件のうち23件で、robots.txtが許可しているAIクローラーのUser-Agentに403が返りました。クローラー別の件数、断り方の3つの形、分野ごとの例、確かめ方と限界。First published on dev.to · 4 min read
- 111 of the top 1,000 sites block GPTBot. 35 never mention the bot behind ChatGPT search.robots.txt on the Tranco top 1,000 on 2026-10-06 (545 files): which AI tokens control training and which control answers, how often each is blocked, and the mistakes real files make, from orphaned legacy tokens to named groups that silently drop the * rules.First published on dev.to · 8 min read
- 111サイトがGPTBotを拒否、35件は検索用に触れずTrancoの上位1,000ドメインのrobots.txt 545件(2026-10-06取得)を、学習用と回答用のAIトークンに分けて集計しました。それぞれの拒否の数と、実際のファイルにあった誤り(使われていない旧トークン、*のルールを黙って外す名前付きグループなど)。7 min read
- 246 of the top 1,000 sites answer /llms.txt with 200. Only 114 serve the file.I checked llms.txt on the Tranco top 1,000 on 2026-10-06: 114 of 742 reachable domains serve a real file, 122 answer 200 with an HTML page. What the files get wrong (format, size, dead links), why HEAD requests overcount dead links, and a check that does not lie.First published on dev.to · 6 min read
- llms.txtに200を返す246サイト、本物は114件Trancoの上位1,000ドメインを2026-10-06に調べると、到達できた742件のうち本物のllms.txtを返したのは114件で、122件は200でHTMLページを返していました。ファイルのよくある誤り、HEADがリンク切れを多く数える理由、確認用スクリプト。5 min read
- robots.txtはGPTBotを許可、サーバーは403を返す日本の観光系の小規模サイトのうち到達できた23件(無作為抽出ではありません)で、6件がrobots.txtでは許可しているGPTBotやClaudeBotをサーバーで拒否していました。curlで1分で確かめる方法と、この確認でわからないこと。3 min read
- robots.txtを覆すCDN、AIクローラーを断る層の探し方アムステルダムの自転車店サイトのうち到達できた79件で、19件がブラウザには200を返しながらAIクローラーを拒否し、多くは自分のrobots.txtと食い違っていました。CDN、Webサーバー、プラグインのどれが断っているかの見分け方と直し方。6 min read
- Your CDN can overrule robots.txt: finding the layer that refuses AI crawlersIn 79 reachable Amsterdam bike-shop sites, 19 refused at least one AI crawler while a browser got 200, mostly against their own robots.txt. How to tell which layer refused (CDN, web server or plugin), and the fix for each.First published on dev.to · 8 min read
- Your robots.txt allows GPTBot. Your server may still answer 403.In a convenience sample of 23 reachable Japanese tourism sites, 6 refused GPTBot or ClaudeBot at the server while their robots.txt welcomed them. How to test your own site with curl in under a minute, and what the check cannot tell you.First published on dev.to · 4 min read