同人サイトのロボ避けアク解について 4
なるべくひっそり楽しむために、.htaccessやrobots.txt等を用いた
検索避け・アクセス解析・アクセス制限などについて語り合いましょう。
robotx.txtや.htaccessを使いたいなら有料池
■同人OK鯖総合スレまとめ
ttp://f43.aaa.livedoor.jp/~sils/
関連リンク
■ロボテキについて（※英文）
ttp://www.robotstxt.org/wc/norobots.html
■.htaccessテンプレ
ttp://www.ii-park.net/~nanashi/htaccess2.html
■ドットHTアクセス メーカー
ttp://html-time.com/tool/htaccess_maker.htm
■裏サイトオーナーのためのSmall Tips
ttp://sp999.oheya.jp/tips/
■禿げしくガイシュツでうんざりしている質問のＦＡＱ
（2ch web制作管理板 ロボット型検索エンジンスレＦＡＱ集より）
ttp://f3.aaa.livedoor.jp/~zwgxodue/gaishutu.html
■ちょっとまったFC2ブックマーク（問題と対処）
ttp://www.geocities.jp/no_no_bookmark/
■PHPであれこれ。（FC2ソーシャルブックマークに関してのスクリプト）
ttp://www.geocities.jp/moyashi_de_go/
前スレ
http://changi.2ch.sc/test/read.cgi/doujin/1196876804/
乙〜
お疲れ様でした。
乙なんてなんたらかんたら
最近無自覚にPathtraqインストールしてアクセスしてた人がいた
前スレのおかげで弾けてたよありがとう
■.htaccessテンプレ
ttp://www.ii-park.net/~nanashi/htaccess2.html
■裏サイトオーナーのためのSmall Tips
ttp://sp999.oheya.jp/tips/
乙です
おつです！
今日は秘密やが重い。
■同人OK鯖総合スレまとめ
これはもう情報が古すぎて
テンプレからは外した方がいいかもしれないとオモ
lint避けるにはどう書けばいいのでしょう？
とある携帯訪問者が、その人の携帯のみではうちのサイトが閲覧できないらしく
PCサイト変換サイトから来るんだけど、そのサイトからくると
いつも一緒にグーグルボットを連れてくる
最初は気のせいか？って思ってたけど、変換サイトの後に絶対くっついてる
グーグルボット弾いてるから入ってくることはないんだけど
毎回毎回なのでウザくて仕方ないのでその変換サイト弾いたよ
別の変換サイト使ってくれ
それ、Google Wireless Transcoder？
自分もうざいと思ってた。
IPがコロコロ変わるからUAで弾けばいいのかな、
でもせっかくの閲覧者がなあ…とか悩み中。
いや、クローラーなんだ
crawl-66-249-73-162.googlebot.com
鯖の生ログで、エラーログの方には99.153.216.189だの99.31.233.154だの
海外IPが乗っているのに、アクセスログの方を同じIPで検索しても引っかからない
通常は403返した時もアクセスログに乗るはずなのに
これは一体どう考えればいいんだ？
ごめん
pc変換サイトがグーグルワイヤレスなの？って意味ですた
いや、ぐるっぽとかいうサイト
Google Wireless Transcoder弾こうと思って自分でアクセスしてみたら
74.125.0.0/16で弾けなくて74.125.74.154だと弾ける。なんでだ？
原寸画像検索
ttp://k52.org/gensun/
キーワード検索は可・画像は不可にしたいんだけど
今のサイトはMETAタグしか使えなくて
それだとYahooの画像検索は拒否できないようで……引っ越すかなぁ
button-kokan.com
ぐぐったらここ？
ttp://www.aboutus.org/Button-kokan.com
バナーエクスチェンジなんていらないんですけど
ぐぐってもWebサービスも何も引っかからない
もちろんリンクを貼られているわけでもない（アカウント名.s53.coreserver.jpになってない）
レン鯖から直接アクセスされるなんてことがあるのか？
GENOウィルスのせいで携帯からアクセス増えたけど
弾いてるから申し訳ない感じだ。
自分も聞きたい事があるのに、規制されて
携帯からで思うように投稿できない。早くても来年5月って酷い…
まとめサイト便利だったのに無くなってて困ってる…
逆に日本だけ許可するようにこんな感じ？
order deny,allow
allow from jp
deny from all
>>25
>それたぶんGENOチェッカー
マジでか、ビビって悪禁しちまった
ウチも携帯弾いてるから悪いことしたな
>>26
日本IPのみallowにしたらいい
リスト公開してるサイトあったよ
order allow,deny
allow from .jp
deny from env=shutout
うちはこう書いてる
.jpでも弾きたいところをenv=shutoutで指定して更に弾く
.jpじゃない日本のISP（YBBとか）はallow fromで許可を出す
というやりかた
自分は定期的にチェックして、IP羅列してる。
28も書いてるけど、弾きたいIPが追記できる
「Order Allow,Deny」
の方がいい。
deny fromでIPやリファを追記しても弾けます、ごめん
上でも出てたGENOチェッカーだけど
弾いているのにサイトをチェッカーにかけると安全度0%と出る…
あてにしないほうがいいと言われてるけど本当にあてにしないほうがいい
ググってみたのですが、メソッドがどうとか記述に関することのようで、
具体的に誰が何をしたらこう出るのかがわかりませんでした
これはロボットなのでしょうか？
ttp://www.geocities.jp/mieki256jp/software/m256morehtmlgeteasyedit.html
コレのことかなーと思ってるけど確かめてない
これ、はてな使ってるようだからはてな弾けば済む話じゃね
つか、METAしか使えないような鯖使ってるんじゃいろいろ諦めるしかないぞ
引っ越しな
使ってるのはYahoo画像検索のようだけど
良く分からん
心理的にも自己防衛の意味でも、よい子に猥褻な物を見せてしまわないためにも。
こういうことに拘るのは大体が女
バカ高い検定量は検定協会会長の懐に入ります！
みんな、どしどし応募してね！
自治厨どうしよーもねーな
早速おかしなの湧いてるし
リファラに塩のファイルマネージャーからのアクセスが残ってた
誤爆かなーとは思うがファイルマネージャーで誤爆して行くって
どんな状況なのよ？で気になってしまう…
閲覧者含めて盛り上がる話題じゃないし
サイト運営している人間ならではのスレだし
今回の管理人関係は全て飛ばすってやり方はどうかと思うが
>>43
ジオでサイト作ってる人が
リンクページとかを編集中にリンク踏んだとか？
またはリファラ誤爆じゃね
もう意味分からん
同人ノウハウのスレを全部同人板に移動した方がいんじゃねID出るんだし
ID出ると都合の悪い自演厨が申請しまくってるのか？
閑話休題
あの性質の悪いネイバーがまた来るってようっとおしい
ネイバー日本再進出、１５日から検索サービスへ（韓国経済危機、前に撤退したのに・・）
ttp://ameblo.jp/dol-souraku/entry-10276059598.html
http://j2k.naver.com/j2j.php/korean/
速攻弾いたが、よく考えると日本以外のIP弾いてたよｗｗ
分かったんだが何か問題でもあるのか？性質が悪いって何かやったのか？
ロボテキを無視する
IPやらホスト指定して弾いてもIP変えリファラ変え
しつこくしつこくクロールしようとする
ロボットの中では「性質が悪い」事でとても有名
yetibot@naver.comが未だにクロールしていて性質が悪い事でも有名だから
日本から出て行っていたとは知らなんだ
つか来るなよもう
NAVERの後にできた
Baiduspaider=百度もロボテキ無視するので嫌われている
Naverが日本再上陸か?
ttp://slashdot.jp/it/06/08/09/0752259.shtml
>ここで思い出すのがNAVERの 強力すぎる迷惑ロボット なのだが、このblogのコメントにもあるように
>8月3日から急にUserAgentが「Mozilla/5.0 (compatible; NaverBot/1.0; nhnbot@naver.com)」となっている
>アクセスが手元のサイトでは1000アクセス/日ほど来ている。
>この程度ならまだいいが、前科があるだけに怖いところだ。
良く分かった、ありがとう。
ロボ避けしてるサイトにとってはかなり迷惑なサーチなんだな
ずいぶん前から弾く設定したままだから拾われなかったが…
Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
検索したら5月の記事でアクセス頻度がハンパねぇ、って事で
弾いてる人がいたから行儀は良くなっていない模様
ttp://ja.wikipedia.org/wiki/NaverBot
>主な指摘
> * 秒間隔で次々リクエストを行うため、DoS攻撃のようにサーバーを不安定にさせる。
> * 全てのディレクトリに対し、default.htm, default.html, home.php等インデックスに使われそうな名前のページを、ページの有無を確認せずにリクエストする。
> * セッションを識別せず、同じURLに対してセッションだけ変えて何度もリクエストを行う。
> * サイト管理者が用意するrobots.txt（クローラのアクセスを制御するファイル）を読み込みながらも無視。あるいは、robots.txtを短時間に何度も読み込む。
> * HTMLのMETAエンティティを使ったロボットのアクセス制御を無視する。
> * HTTPリクエストのUserAgentフィールドを次々に変える。変名はNABOT/5.0、nhnbot、minibot(NaverRobot)、dloader(NaverBot)、 nabot、Cowbot、NaverBot-1.0+(NHN+Corp.+/++82-2-3011-1954+ /+nhnbot@naver.com)
>等さまざまな名前が確認されている。また、robots.txtへのアクセス時にGoogleのクローラGooglebotに似たGoogleBotというユーザーエージェント名を用いたことも確認されている。
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB5; YTB720; .NET CLR 1.1.4322; niconico)
最後のniconicoってあのニコニコか？なんでUAに？
ググったがUAにniconicoがついてしまう理由が分からなかった。
画像の持ち出しとかされたら恐いんだが…。niconico来た人いる？
そんなのがあるのか！
特に気にする必要なさそうで良かった。ありがとう。
Mozilla/5.0 (000000000; 0; 00000 000 00 0; 00000) DDDDDDDDDDDDDDDDD DDDDDDD DDDD DDDDDD DDDDDDDDDDDD
IPは国内のメジャーなプロバだし、リンク元は自ジャンル幸と至って普通なんだけど、
こんなUA初めて見たんでびっくりしたんだ
ぐぐってもどこかのアク解結果しか出て来ないしすげー怖い
うちにも同じのきてたよ
偽装UAなんだろうけど、目立ち過ぎて偽装しないほうがまだマシだ
まったく同じUAってことは
UA偽装ツールかブラウザの機能にデフォであるUAなのかもしれないね
あー偽装か！てんぱっててそこに考えが至らなかったありがとう安心しました
確かに悪目立ちして偽装する意味ないよなこれ…
FireFoxのUser Agent Switcherは主なブラウザをリストから選べて便利だ
マカーな自分には手放せないw
何か怖い
うわ・・・それはこわい・・・
タダなものは最新でないと気が済まないのでちょっとイラッとする
FLASH使いまくりの企業サイトのくせして……
MicroAd/1.0 (http://www.microad.jp/)
来るだけなら別に構わないんだけど、自サイトは今はまだ、
どこからもリンクが貼られていない状態。
これ以外のロボが来たことは一度もない。
にも関わらず、トップでもない下の階層にいきなり来た。
しかも管理用の、自分以外にはアクセスしないページ。
なにそれこわい。
まさか、自分のブラウザから情報が漏れてるとかじゃ
ないだろうな…
調べたらドメインで弾くとサーバーの負担が大きいとあった
弾いてる人はどうやってるの？
>>68
deny from .go.jp
deny from .lg.jp
deny from .ac.jp
deny from .ed.jp
deny from .ad.jp などはとりあえずドメインで弾いちゃってる。
IPを何千行も羅列するよりは負担小さいんじゃない？と勝手に思い込んでるけどどうなんだろ。
自分もそれでやってる
IP個別に弾いてたら何千行になってさすがにやばそうだし
うちは>>70＋IPで弾いてる
逆引きできないところも結構多いから、結局はIP羅列になるよ
役所や企業も弾いてるから行数は3000近いけど、自分の体感ではそれほど重くはない
あんまりサーバー負担とか気にしなくても平気みたいだね
ドメインで弾くことにする
3000近く弾くとか大変そうだ
IPは『222.73.173.11』でUAは『Mozilla/4.0』
以下、解析に残っていたアクセスログ。もちろん全部４０４
/admin/edit/admin_login.asp
/admin/edit/urlradmin_login.asp
/admin/editor/vwcyadmin_login.asp
/admin/editor/admin_login.asp
/admin/eWeb/rpdaadmin_login.asp
/admin/eWebEditor/admin_login.asp
/admin/eWebEditor/ikabadmin_login.asp
/admin/eWebEditor/admin_login.asp
/admin/omljupfile_flash.asp
/admin/htmledit/admin_login.asp
/admin/htmledit/kejvadmin_login.asp
/admin/SouthidcEditor/admin_login.asp
/admin/SouthidcEditor/viukadmin_login.asp
/admin/upfile_flash.asp
/admin/webeditor/tufaadmin_login.asp
/admin/webeditor/admin_login.asp
/admin/WebEdit/admin_login.asp
/admin/WebEdit/hlifadmin_login.asp
/admins/upfile_flash.asp
/admins/tfaiupfile_flash.asp
/asp_bin/webeditor/admin_login.asp
/asp_bin/webeditor/wazpadmin_login.asp
/azgjUserReg.asp
/CmsEditor/ydruadmin_login.asp
/CmsEditor/admin_login.asp
/edit/admin_login.asp
/edit/whlnadmin_login.asp
/editor/admin_login.asp
/editor/ljhnadmin_login.asp
/eWeb/admin_login.asp
/eWeb/dvycadmin_login.asp
/eWebEditor/rfsiadmin_login.asp
/eWebEditor/admin_login.asp
/ewindoweditor/admin_login.asp
/ewindoweditor/ydmpadmin_login.asp
/htmledit/admin_login.asp
/htmledit/woxjadmin_login.asp
/htmleditor/admin_login.asp
/htmleditor/jhtxadmin_login.asp
/include/tigzupfile_flash.asp
/include/upfile_flash.asp
/manage/edit/admin_login.asp
/manage/edit/gjfuadmin_login.asp
/manage/editor/admin_login.asp
/manage/eWebEditor/admin_login.asp
/manage/eWebEditor/iywyadmin_login.asp
/manage/webeditor/kvbjadmin_login.asp
/manage/webeditor/admin_login.asp
/newsadmin/ubb/msniadmin_login.asp
/newsadmin/ubb/admin_login.asp
/UserReg.asp
/upfile_flash.asp
/webeditor/msffadmin_login.asp
/webeditor/admin_login.asp
/WebEdit/admin_login.asp
/WebEdit/riceadmin_login.asp
/WebEdit/admin_login.asp
/zgwlupfile_flash.asp
ブログやブログパーツについてる広告を表示するためのbotだから心配ない
ttp://www.google.com/gwt/nってのが出てきたんですが、これなんでしょうかね？
GWTでググってもＪＡＶＡを変換するためのツールキットというのが出てきただけなんですが
生憎うちはJAVAもｊavascriptも使っていないサイト構成です
ド僻地サイトなのでなんでこんなものがかかったのかちっとも不明です
それはGoogle Wireless Transcoderだよ
ＰＣサイトを携帯用に変換するサービス
ttp://www.teesoft.info/
ここのAutoPagerというアドオンを入れると
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; ja-JP-mac; rv:1.9.0.11) Gecko/2009060214 Firefox/3.0.11 AutoPager/0.5.2.2 (ttp://www.teesoft.info/)
こんなUAになる。メジャーなアドオンみたいで、何人かいた。
今までhttp://を含むUAは弾いていたのに、どうしたものかな…
うちもhttp://を含むUAは弾いている
解除しといた方がいいのかなぁ
ぐるっぽとかファイルシークみたいなものか
安心したよ。どうもありがとう！！
見れないとなったら１クリックでオフにできるからそのままでいいと思う
普通に考えたら、アドオンで弾かれてるなんて思わないんじゃないかな？
うちにきた1人はブラウザ変更したけど、後は去ったよ。
とりあえず解除して、ロボの方を様子見しようと思う。
どういう記述にしたら良いのかな…
自サイトは絵と写メ日記しかないんでなんだけど
無理矢理魚拓取れるってのもイヤなんで…
それ自体を知らなかったけど、調べたら恐ろしいものだね。
単体のサービスの他に、火狐の定番アドオンにも入っていて驚愕した。
リファラとIPで弾いてみたけど、効果があるんだかないんだか…
>>86の方等が、リファラやＩＰで弾く等の対処をする時に
どうやってtorproxy.net等のリファラやＩＰを調べているんでしょうか。
自分も弾きたいのですが、いつも調べ方が分からずはじけずにいます
なんでも同人系ｽﾚに聞くんじゃなくて該当板の初心者ｽﾚに行きなよ
スレチな質問すいませんでした。
該当スレ探してきます。ありがとうございました。
torproxy.net 91.121.0.0/16
tor-proxy.net 188.40.0.0/16
でいいのかな？検索したらURLが2種出てきたけど。
海外全部弾いててよかった
日本オンリーにしてると、いろいろ助かるな
index.htmlにアクセスして、404を出す人がいる。
404（index.html）を出した後、1秒で正式なURL（index.php）にアクセスしなおす。
ちなみにサイトURLは ttp://hoge.jp という感じで、わざわざindexとか表示してない。
最初スパム系のロボかと思ってログを見ると、普通に閲覧してる日もよくある。
よろずサイトなのに同じジャンルしか見ないし、ゲームで遊んでいるのでロボではないと思う。
ただ404を出すときは、index.htmlとindex.phpにしかアクセスしない。
よくあるので気味が悪いんだが、セキュリティソフトの先読みだったり
スクリプトだったりするのかな？
indexファイル探してるんだとｵﾓ
多分優先順位が index.html >>>> index.php になってて
htmlで404出てからphpファイルにアクセスしてるんじゃね？
しかし注意書きしかないindexだけチェックされても、1年以上更新されてない…
更新チェッカーをブクマ代わりにしてるんでしょ
チェックはついでみたいな
遅くなったけどレスありがとう。
とりあえず心配なさそうだけど、しばらく様子を見たところ、
どうやらブラウザから情報が漏れてるのは確定のようで、
気持ち悪くて仕方ない。
こいつが来るようになったのがFirefoxを3.5にしてからなんだけど、
やっぱり何か関係あるんだろうか。
本体のせいなのかアドオンのせいなのか…
アメーバブログなんかをやってるサイバーエージェント発らしいけど
その辺のサービス利用してるとかないのかい？
自分のブラウザとサイトに来るbotの関連がどこにあるの？
100〜のスレッドの続きを読む