Baiduspiderウザすぎ！！ ヽ(`Д´)ﾉ
DirectoryIndex index.html index.htm .ht
ErrorDocument 403 http://www.baidu.com/
SetEnvIf User-Agent "Baiduspider" deny_bot
SetEnvIf User-Agent "sogou spider" deny_bot
order allow,deny
allow from all
deny from env=deny_bot
# Baiduspider_ip
deny from 60.24.0.0/13
deny from 220.181.0.0/16
deny from 61.135.0.0/16
deny from 122.152.129.
deny from 122.152.128.
image.baidu.comやらasd.tj.cnやら仲間がﾜﾗﾜﾗいるんだな…。
最初から素直にIPではじいておけば良かったよ。
先月は中国からの訪問客が30%越えだった。
ここ数日の鯖不安定はどうもBaiduが原因らしい
http://qb5.2ch.sc/test/read.cgi/operate/1168100274/587-
置いておきましょう
User-agent: baiduspider
Disallow:
なんか疎外感・・・
この民度の低さから行くとｍｐ３の次は
・日本の画像系根こそぎ（ＡＶのパッケージも使う貪欲さ）
・YouTubeの様な動画系サイト（勿論そのまんま盗用）
ホストを変え（悪質）、時間を空けずアクセス。頼むもう来ないでくれ。
ついでに↓も来てる。firefoxでの目視だと思う。反体制かどうかの判別か？
別に心配しなくてもテメーらの国なんて相手にしてねーよ
xd-22-132-a8.bta.net.cn
コイツのせいらしい
日本国内で当該アドレスを使っているプロバイダがいるかも知れんけど、それは仕方ない。
欧米向けのサイトを運営している身では、この措置で特に問題は感じられないけど…
してみようかな（ｗ
robots,txt読まないでクロールしまくりのbaibuでもそれは効きそうだな
二度と来なくなったりしてｗｗ
中国が嫌がるキーワードってなんだろう
文字色背景色にして埋め込んでみるかな
天安門事件、天皇陛下万歳、ダライ･ラマ、中印戦争
繁体字とEnglishも用意してあげるといいかもね。
中国公安に目付けられてアクセス増大の悪寒
３段構えくらいで対処しないと
.htaccessでIPで弾き
.htaccessでUAで弾く
robots.txtで弾く
これを全部やってもIP変えて、UA偽装してやってくる
最悪じゃ・・・・
一中一台などのNGワードを入れていても、取りあえずはクロールして情報収集はしていくんじゃないかな。
http://up00.hyperbit.info/up/trash-box/file/20070212174625261.jpg
実験してみる価値はあるかもね
反応しなければ相手もタイムアウトまで動けないから。
一体何をしたいんだ？Googleimageみたいな画像検索インデックスでも作ってるの？
image.baidu.com参照
すぐにそこから検索掛けて人がやってくるようになるよ。
うちはbaidu経由で人が来たことないよ
SPAMは来るようになったけど
www39/76/78/80/36/41/82/51/61/50/55/60/56/57/62/79/74/77/109/102.asd.tj.cn
Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Baiduspider+(+http://www.baidu.com/search/spider.htm)
からものすごいアクセスがあった
あとxd-22-75-a8/xd-23-177-a8.bta.net.cnからもアクセスあったけど、これもbaidu?
リファラーを確認すると一応image.baidu.comからアクセスあるけど…
bta.net.cn
↑
これもbaidu
>>10を参考に
うちは画像沢山持っていかれてから毎日かなりのアクセスがある。
しかも見せないように制限してたら、メルフォから文字化けで、
なんかよく分からないメールが山ほど来た。
その数 1分間に4通、全部で約100通。今はこっちも制限してる。
.htaccessで弾いてるけどきりがねー
これ、ちょっと信じてしまったんだがウソなのか？
何から何まで嘘だ。
baiduは確かにrobots.txtを読んだが、image.baidu.comなどの
baidu内コンテンツ用ロボットはrobots.txtを読まない。
またサーバーにも負荷をかけまくる。
関係ないが、34の3を読んでも分かるとおり
baiduが成りすましをふせぐのは「ポームページ」だ。ホームページではない。
付け加えると、成りすましをしているのはbaidu自身である。
１日５０００hitとか異常でしょ
どう見ても・・・
しかもUA偽装でIPもコロコロ変えてさ
これじゃマジで荒らしです
thx!
勉強になった
流石にbaiduほどは無いけど。
転送量でいくとbaidu>google>yahoo>msnなんだけどね(baiduだけ桁が3桁違う)
やっぱ画像ばっかり重点的にねらってるのかね
リクエスト数TOP４クローラーに取られてる
robots.txtぐらい読んでくれよ…
http://up2.viploader.net/pic/src/viploader416345.jpg
インデックスしないって最悪。
それクロールってレベルじゃねーだろ
攻撃されてんじゃね？
http://up2.viploader.net/pic/src/viploader416384.gif
全然閲覧者いないんだから百度のクローラーにぐらい見せてやれよ
エロサイトじゃないからこれで十分なんだよ。ｗ
(´・ω・`)ｼｮﾎﾞｰﾝ
(´・ω・,';,';,',
(´・ω,';,';,',
(´,';,';,',
(,';,';,
';,,
やりすぎ
これだけきてるとなるとsakuraが訴えたら負けるってことはなさそうだけど
サーバーをダウンさせるわけだし。
それをすると逆に訴えられそうな予感
まず無いと思うが
迷惑してるのはsakura以外にもあるとおもうから他社と協力して何とかしてくれたらなぁ
派手にサーバが逝ったら、電子計算機損壊等業務妨害なんかもいけると思う
威力業務妨害よりちょっとだけ罪が重い
弾いたら転送量4分の一に落ちて一安心。
ここのロボットもBaidu並にタチが悪いぞ
むしろnaverとの過去の戦いを見れば、baiduが雑魚に思える。
http://baidu.jp/
爆撃で取り終わったって事だろ、弾かれてるからほとぼりが冷めるまで、って所
俺は絶対解除しないがなｗ
今の子は知らないかもしれないが昔料理人でチャーハンの達人 周さん
と言うのがいたんだけど億近い脱税？で追徴食らった時、ワイドショーの記者に
「中国ではそんな（法律）の無い」って言ってた。たかが料理でも極めると
儲かるんだな〜と思った。Baiduさんここは日本ですよ・・・( ﾟдﾟ)､ﾍﾟｯ
珍しいね、謝るなんて。よほど日本のｻｲﾄから弾かれたんだろうな。
または苦情が殺到したか…。
しばらくは設定はそのままで様子見するかな。
前科者がいまさら何言っても信用出来ないね
今までの大陸クローラーの行動を考えても信用しない方がいいね
弾くのが一番
http://faq.sakura.ne.jp/wiki/wiki.cgi?%2ehtaccess#i11
GoogleやYahoo!で「Baiduspider」と検索してみよう。
検索結果にざっと目を通すと「出入り禁止」「〜がやってきた」「行儀が悪い」などと否定的な言葉が並ぶ。
Baiduspiderとは中国の検索エンジン「百度（baidu）」のWebページ収集ロボット（クローラ）の名称だが
総じてウェブマスターからの評判は悪い。実際、私自身も運営するサイトでは Baiduspider を弾いている。
要は、クロール頻度が高くサーバに多大な負荷をかけてしまうことが問題なのだ。
http://blog.japan.cnet.com/takawata/archives/2007/02/_baiduspider.html
もっと他のロボットも来いよ
海外初の進出となった日本市場へは2006年の12月に本格的に参入致したばかりです。
さて、弊社はまもなく日本語版検索サービスを開始致しますが、それにあたり現在日本語サイトの情報収集Spiderのリサーチを実施しております。
それにより御社のサイトに過剰なアクセスが発生したため、管理者の方には多大なるご心配をおかけ致しました。
私はこの百度Spiderの作業管理担当者としてこの度百度Spiderが御社のサイトにご迷惑をおかけしましましたことに関して誠に申し訳なく思っております。
今後はこの問題について会社全体が真摯に受け止め、日本のインターネット業界におけるルールに従い、このようなことが二度とないように努めていく所存でございます。
弊社はここまで現れた問題について以下のように調整しました：
(1) 各サイトにクローラー負荷を下げさせています。Baiduspiderの最大クローラー頻度は9回/秒から1回/3秒までに下げさせました。以前クローラー頻度の1/27になりました。
(2) 各サイトの規模とIP負荷に対し、それぞれ対応できるクローラー対策を設定し、中小のサイトに対し、クローラー頻度は20秒/回以内にコントロールしています。
(3) サイトに対し圧縮クローラー機能を追加して、同じ負荷でサイトにのアクセス量はもともとの1/3に下げさせます。
(4) 各サイトに対し、毎日のクローラー総量をコントロールし、もしサイトの最大制限を超えると、当日で調整させます。
(5) もし各サイト管理者はBaiduspiderに対し、何かご質問がございましたら、たいへんお手数ですが、webmaster-jp@baidu.comまでにご連絡して頂きたいと思います。
百度はこの様な努力し、御社のページビューにも役に立つよう最適なネットワーク構築や、より一層の協力関係を築けるよう、日々全力をあげてまいります。
そしてユーザーがより良い体験をでき、弊社のリソースを日本のユーザーの皆様にご提供できれば幸いでございます。
中華系
もちろん遮断
俺のサイトでは全く問題ないけど、みんなのサイトはそんな単純なことじゃないのかな？
それがベストだろうけど
割り当てが変更されると国内の利用者も弾いてしまう可能性が…
それと国内から百度のクローラーにアクセスされたって報告も有る
検索できるのかな？
出来るけど中国公安にマークされます
俺みたいにdenyIPアドレスリストを毎日更新するほど暇な奴は少ないか…もう日課になっているけどｗ
完全自動化できれば良いんだろうけど、それでもタイムラグで国内からのアクセスができなくなる可能性はあるのか。
国内からのクローラってのも気になるね。
こののIPから来てるみたい
122.152.128.0 - 122.152.191.255
descr: Asia Netcom Corporation
descr: Internet Service Provider
country: JP
http://pc10.2ch.sc/test/read.cgi/hosting/1166860563/542,544,560
死ななくてもいいから、日本上陸はあきらめてほしいな
マジでウザ過ぎる
そこにbaiduごときが入ってこれるわけがなかろう
ここはさくら共用スレから派生したものだったのですね。
ありがとう、早速deny指定しました。
ttp://japan.cnet.com/column/china/story/0,2000055907,20343629,00.htm?ref=rss
我慢というかｸﾝﾅ
多いのに、なんでわざわざ海外から参入するのかね・・・・
朝鮮人や中国人は、「ページを集めてやってるんだ」とか思い上がってるのか？
GoogleとYahooとMSNのロボット以外は、askとかも全部弾いてる。
askからなんて、めったに来ないし。
他は東大が走らせてるクローラーとか、なんとかgo.jpの研究用クローラー。
行儀はいいけど、こっちにはなんのメリットも無いし、deny。ｗ
baidu
yodao
naver
outfox
ここらへんを遮断すれば吉
100〜のスレッドの続きを読む