APPLE BOT X
Applebot を確認する
Applebot からの着信トラフィックはユーザエージェントで区別でき、逆引き DNS で調べると
*.applebot.apple.com ドメインに属していて、17.0.0.0 ネットブロックが発信元であることがわかります。
Applebot からのトラフィックを確認する
macOS では、host コマンドを使って、IP アドレスが Applebot のものかどうかを判断できます。
以下の例は、host コマンドとその結果です。
$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
host コマンドを使って、DNS が同じ IP アドレスを参照しているか確かめることもできます。
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.
Applebot ユーザエージェントを確認する
user-agent 文字列には「Applebot」とその他の情報が含まれています。
フォーマットは以下の通りです。
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
デスクトップの場合の例：
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15
(KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
モバイルの場合の例：
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1;
+http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z
(KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
「robot.txt」のルールをカスタマイズする
Applebot は、Applebot を対象とした「robots.txt」の標準的なディレクティブに従います。
以下の例では、Applebot は「/private/」や「/not-allowed/」の下位にある書類はクローリングしません。
User-agent: Applebot # apple
Allow: / # Allow everything (also true if omitted)
Disallow: /private/ # disallow this directory
User-agent: * # any robot
Disallow: /not-allowed/ # disallow this directory
robots の制御指示で Applebot には言及していなくても Googlebot について指定されている場合、Apple のロボットは Googlebot に
対する指示に従います。
Applebot からの着信トラフィックはユーザエージェントで区別でき、逆引き DNS で調べると
*.applebot.apple.com ドメインに属していて、17.0.0.0 ネットブロックが発信元であることがわかります。
Applebot からのトラフィックを確認する
macOS では、host コマンドを使って、IP アドレスが Applebot のものかどうかを判断できます。
以下の例は、host コマンドとその結果です。
$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
host コマンドを使って、DNS が同じ IP アドレスを参照しているか確かめることもできます。
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.
Applebot ユーザエージェントを確認する
user-agent 文字列には「Applebot」とその他の情報が含まれています。
フォーマットは以下の通りです。
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
デスクトップの場合の例：
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15
(KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
モバイルの場合の例：
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1;
+http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z
(KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
「robot.txt」のルールをカスタマイズする
Applebot は、Applebot を対象とした「robots.txt」の標準的なディレクティブに従います。
以下の例では、Applebot は「/private/」や「/not-allowed/」の下位にある書類はクローリングしません。
User-agent: Applebot # apple
Allow: / # Allow everything (also true if omitted)
Disallow: /private/ # disallow this directory
User-agent: * # any robot
Disallow: /not-allowed/ # disallow this directory
robots の制御指示で Applebot には言及していなくても Googlebot について指定されている場合、Apple のロボットは Googlebot に
対する指示に従います。
スポンサーサイト
テーマ : とりあえず書いとこ ~ф(゜゜)
ジャンル : 日記
