TOP カテ一覧 スレ一覧 100〜終まで 2ch元 削除依頼
【初心者歓迎】C/C++室 Ver.103【環境依存OK】
<XML総合 part="3"/>
C++11が動的言語よりも開発効率が良くなってる…
【消しゴム】MONOを使ってみるスレ4【じゃない】
シェルスクリプト総合 その30
自然言語処理スレッド その5
C# vs Java どっちが好き? その5
【PHP】下らねぇ質問はここに書き込みやがれ 10
【普通のやつらの】 Arc Language 0 【上を行け】
【消しゴム】MONOを使ってみるスレ4【じゃない】

【統計分析】機械学習・データマイニング27


1 :2020/01/13 〜 最終レス :2020/04/19

機械学習とデータマイニングについて語れ若人

*機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング26
https://mevius.2ch.sc/test/read.cgi/tech/1568506986/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2 :
重複スレッドです。どちらを本スレにするか決めて下さい。

【統計分析】機械学習・データマイニング27
https://mevius.2ch.sc/test/read.cgi/tech/1578890891/

3 :
という訳で、このスレッドを本スレとします。ご自由にお使い下さい。

4 :
A群 年数とαが正比例
B群 年数と関係なくαは一定
C群 年数とαは反比例

ABCそれぞれを単回帰分析して回帰直線の傾きから、各群の違いを考察しようと思いました。
ACは決定係数0.8といい値なのですが、B群は決定係数がほぼ0となります。
回帰直線は当てはまっているように思うのですが、回帰分析で傾き0だと決定係数も0になるのでしょうか?

5 :
>>4
自己解決かな。
R2はモデルの当てはまりの良さではなくて、説明変数でどれだけ説明できているかを評価しているから傾き0ならR2も0になる
モデルの当てはまりなら
square mean error
などの評価指標を使うべき

間違ってたらご指摘お願いします。

6 :
transformerとcnnて同じもの?

7 :
大量の画像の全ての物体を全て自分の手でアノテーションするのは面倒だ

アノテーションアプリと物体検出プログラムで相互にデータをやり取りする
具体的には、それまでアノテーションして作ったpickleデータを元に新たな画像で物体検出して、
その検出領域をpascal voc型などで、しかもアノテーションアプリが出力するものと同じ形で出力し
それをアノテーションアプリが読み取って仮の物体検出領域を画像内に編集可能な状態で
描画する

VOTT3 とか出来たら、この機能が欲しいかなw
でもyoloやcenternetなどの側にも、まあ難しくはないけど領域データ出力部は作らないと

多分並レベルのプログラマなら半年専念したら出来るだろうけどやる奴はちょっといないか

8 :
>>6
違うものなので
Transformer-CNNなんてのやってるやつもいる。

9 :
>>4-5
R2(決定係数)は
くっそ複雑な式をたてて殴るとなんでかよろしくなってきてしまう、というハッキングが可能なので、
複雑なモデルをたてた場合は、自由度修正済み決定係数(adjusted coefficient of determination)を使おう。
>square mean error
いわゆるRMSE(平均平方二乗誤差)のことかMSE(平均二乗誤差)のことかわからんのだが、
前者は標準偏差的なサムシング、後者は分散くさいサムシング。
前者はおもたーい外れ値があると、ハッキングされてしまう。

10 :
>>7
VIPPERとかJ民を
うまいこと無料の作業員として使えるネタスレ(釣りスレ)立ててやらせればぁー? > アノテーション
以前どっかのサーバのパスワードを↑の原理で割ったやつがいたはず。

11 :
無料の作業員として人を使うのはgoogleとかが既にやってる
読みにくい字を読ませたり画像内のオブジェクトを探させたり

12 :
https://ainow.ai/2020/01/14/182639/

最適化じゃなくて重ね合わせたらいいのに…

13 :
>>11
クラウドワークスとかで出てるような奴かな

14 :
>>11
reCAPCHAとかいうやつだっけ?

15 :
スペルが違った
reCAPTCHA

16 :
2020年、Deep Learningをはじめましょう!
https://www.youtube.com/watch?v=9gXB7MvyKJ8&feature=share
もうこのツールで良いんじゃないか?

17 :
>>16
そんなWebベースのツールなんて誰も使わないと思う
ユーザーのこと何もわかってなさそう

18 :
google colabでGPUに切り替えても大して早く動いた感がないんですが何か設定とか
必要なんでしょうか。とりあえずimportはnumpyだけの物とtensorflow2系を利用した
物の二種類のソースコードを用意、それでランタイムを切り替えたんですが
まずnumpyだけで作った奴の実行時間は
CPU:1099秒、GPU:943秒、TPU:1090秒
tensorflow2を使用した物は
CPU:95.1秒、 GPU:86.8秒、TPU:97.8秒
数回やったんですが結果はだいたいこんな感じでした。
一応デフォの2.1から2.0に変えたりしたのですが大した変化は起こらず、
device_lib.list_local_devices() でGPUを認識していることは確認済み
print(tf.config.experimental.list_physical_devices("GPU"))やら
print(x.tensorflow.python.client.device.endswith('GPU:0')) (xは適当なテンソル)
を試したらこちらもGPUは認識しているっぽいです、ただTPUの時はCPUしか
表示されなかったのでもしかしたら上手くいってないかもしれません。
やってることは中間100層の3層mnistでエポック数は20です、予想だとCPUとGPUで
2倍くらい実行時間が違うと踏んでいたので多分何か失敗していると思うのですが…。

19 :
モヤモヤする

20 :
https://jp.techcrunch.com/2020/01/24/2020-01-23-googles-dataset-search-comes-out-of-beta/

21 :
aiの民主化
日本は遅れてるなー
せいぜい翻訳バンクくらい。。。
誰でも使える訳じゃないしな

22 :
日本の法律にはフェアユースの概念が無いので、日本人が関わった時点で、ライセンス問題が自動的に付随する。
ICUプロジェクトは日本人を排除することでライセンスをクリーンに保っている。。

23 :
閉鎖的

24 :
tidymodels の時代はやってくるのか?

25 :
>>18
微妙なところ。
使ってるモデル、データの規模も小さいからGPUもTPUも大して生かせないってのはありそう。
データをimagenet、モデルをresnet50くらいにして実験した方が効果はわかりやすいと思う。

26 :
>>24
使ってないなあ。レシピとかジュースとか逆にイメージし辛いんだよ

27 :
Juiceとbakeは名前を変えた方がいいよな

28 :
Pythonが900秒使ってたとしたら、倍速くなってるのでは。

29 :
QiitaでCourseraのMLの内容丸パクリして日本語化した記事を
中学生が投稿してて笑った
出典も明確にせず図の使い方や解説までほぼ全パク
コメントでやんわり指摘してる人が一人いたけど無視
それでトレンド乗るくらいいいねされてて草
しかし中学生は黒歴史としても、いいねしてる大人側も大人側だろ
中学生とは言わずとも高校数学レベルで理解できるんだからやりゃいいのにな
やってたらあの完全丸パクリ記事にいいねはできないわ
CourseraのML終えたらG検定の7割くらいを終えたような物だから
あとテキスト買ってCNNやRNNみたいなのを覚えればG検定も楽勝だろうし
上流になってても知ってるべきことだからやって損はない

30 :
きいたは99%がごみ

31 :
記事のレベルが正規分布を満たすとしたら、
皆さんのレベルでは99%がゴミでしょう。

32 :
再帰と循環参照の記事はゴミだった
キータでやる内容じゃ無いな

33 :
きいたをみてPythonと機械学習の勉強してますけど
なんか中途半端な記事ばかりのように思うのですが、
無料だからしょうがないんでしょうね。

きいたは本当に断片しかないんですよね。
有料のところを受講しないとダメですかね?

34 :
そうでもない

35 :
そうです

36 :
本でええやん

37 :
>トレンド乗るくらいいいねされてて草
qiitaはいいねクラスタみたいのがあるらしい
はてな民が悪習もちこんでる

38 :
プログラムの情報って本来、紙とは相性悪いよなぁ

39 :
パクリ記事見たけどこれはこれであり
日本語でこういうまともな記事がほぼ存在しないことが問題
やる場所を間違えた感

40 :
分かりやすい簡単な英語での優れた入門講座が全世界に無料公開されているのに
わざわざ専門家でもない素人が翻訳した、誤りが含まれる可能性があるものを参照する必要がどこにもない

41 :
コーセラのoctaveムズいし、あれだけだと足りない

42 :
挫折しました(笑)

43 :
屈折しましたw

44 :
入力の次元数が違いますのエラーの嵐

Conv2Dで作り替えて解決すべきか

45 :
>>41
別にcourseraでは大して複雑なoctaveの使い方などしていない
あれが理解できないのだとしたらoctave自体が難しいのではなく単に線形代数とか行列演算が理解できていないだけ
そこが理解できていないのにcourseraの講座では不足だという資格はない

46 :
日本入国禁止

47 :
>>45
そうかね
numpyで実装した方が分かり易い

48 :
あと、バックプロパゲーションの説明端折りすぎじゃね?
別で参考書いるし、ぶっちゃけ、講座全体そ〜なので終わって次につながらんよ

49 :
>>25
かなり遅くなりましたが返信ありがとうございました、
今更ですが混乱していたとはいえ非常に読みづらい文章で申し訳ありませんm(_ _)m
とりあえずご指摘の通りにもうちょっと大きいデータ扱ってきます。

50 :
ありえないことですが、もし囲碁が完全解析出来たら
アルファ碁ゼロでも勝てませんか?

51 :
>>50
囲碁のルール知ってるか?あふぉか???

52 :
引き分けがないから先手必勝か後手必勝になるんでないかな

53 :
>>50
囲碁は先手必勝だから先手を取られたらどうやっても勝てない

54 :
>>53
それはコミというハンデによって解決する性質のものでは?

55 :
>>52
長生と、
持碁(イマドキは、ジゴのときはどっちの勝ちとするか、運営が予め設定しておくが)
の存在をわすれている件
>>53
解けたの?
ソースくれ

56 :
完全解析はされてないが先手必勝は証明されてたはず
ソースは忘れた

57 :
>>56
完全じゃなくても必勝ってわかるんだ
検索のヒントくらいおいてけください

58 :
6路までは完全解析終わっているがそれ以降はできていないし
どっちが必勝かもわからない
コミなしなら黒有利なのは単に人間の感覚

59 :
>>58
>6路までは完全解析
実行したヤツ、すごいなw

60 :
なんか簡単なルールがあって解析できるんじゃないかと思ったけど
組み合わせ爆発お姉さんで経路の数え上げすらできてないのを見て
思い直した

61 :
「先手必勝ではないこと」か「後手必勝ではないこと」なら背理法で証明できそうな気はするがどうなんだろう

62 :
>>60
限界を感じてステップアップおめでとう!
今後ながきにわたり折に触れ考え続けることで、
ある日突然ひらめいて、すごい勢いでとけるようになってしまうかもしれないし、
大半のおれらはとけないままで終わるだろう。

63 :
>>61
狙って長生に持ち込める打ち方があると証明するか、
持碁に持ち込めるパターン1つ挙げれればおk

64 :
先手か後手のどちらかが必ずそうやって引き分けに持ち込むことができることを証明するのは
手間として先手必勝/後手必勝の証明と大して変わらんと思う。

65 :
>>64
(´・ω・`)ショボン

66 :
お姉さんのはロボで産まれ変わってたのがわろた

67 :
お姉さんが囲碁も全部数え上げればいい

68 :
バックグラウンド無しで、中途でデータサイエンスとか機械学習エンジニアになる方法って何がある?

69 :
>>68
最低限の基礎はしっかり勉強する
コネをつなぐ
もぐりこむ
出世する
おk!

70 :
何のバックグラウンドもないのに採用しちゃうような企業など信用ならんからむしろ避けたいがな

71 :
普通にプログラマの方が貴重な気がするんだよな
座学とjupyterで出来る仕事ヌルそう

72 :
ジュピターだけだと分析だけで
サービスを作れない

73 :
分析担当者とサービス化担当者は普通は別なんだから適切な分析のアウトプットを出していればもんだない

74 :
普通って何だよ(笑)

75 :
普通に簡単な仕事より難しい仕事の方が代替が効きにくくていいかなと

76 :
普通そうだわな(笑)

77 :
>>68
バックグラウンドとは?
普通に開発経験あるならデータ分析基盤の構築とかして
最終的に分析屋に移るのは普通にある
完全に未経験でなるのは無理だと思うが

78 :
連呼してるけど
普通ってなんだよ(笑)

79 :
普通は普通ってことが普通に分かるやろ普通

80 :
www

81 :
普通がわからない人は諦めろ
無理だから

82 :
いわゆるアスペって奴だな
文脈と常識で判断できずやたら定義を求めたがる

83 :
25%点から75%点に含まれるのは普通だと思えば良いんじゃね

84 :
府中では普通

85 :
バイアスがかかってるてことでしょ

86 :
俺の言ってることを理解できない奴はアスペ(笑)

87 :
>>68
若い奴はこの分野に来そうにないから
バックグラウンド無しでも行けるんじゃないの?
人が居ないから外の安いところに出して最終的に北朝鮮やら中国やらがやることになり
バックドア仕掛けられてデータ盗まれてるらしいからな

88 :
×人がいない
〇ナウな東大生に人気w

ちな東日本大震災前にナウだった東大生に大人気だった企業の
いまを見てみると・・・

89 :
Greeとかソシャゲかな
東大生目先の利益求めるばかりで中身がない所へ行っちゃうのアホなんでは

90 :
その手の企業は数年で転職するのが前提なので大半は既に他所に移っているはず

91 :
元〇〇のエンジニアが居るって企業やたらみるし、人売り稼業やってるのちょいちょい見掛ける。
元〇〇社員が居るって事がアピールポイントになる会社ヤバない?

92 :
東大卒は金を稼げない事を恥と思うようで、金以外に興味がなさそうです評価軸がズレてんな

93 :
ホリエモンのことか(笑)

94 :
ホラえもんはロンダ

95 :
京大生みたいに各自の価値観で進んで、結果ノーベル賞取るのがカッコええの

96 :
ごく一部を除いて「おまえみたいな馬鹿は人間やめちまえ」と罵られる、マゾがいいのかw

97 :
京大でも東大でもなんでも良いが
誰かに言われたからするとかやめるとか
そんな人生ではつまらんだろ
自分で考えろ

98 :
東大生て簡単に複雑な式展開するけど
機械学習研究でなんら成果出さないよね

99 :
東大発ベンチャーの派遣採用でpandasの理解度を見たいとか言ってjupyterで集計処理やらせようとするの笑えた
プログラマはjupyter使わないし、試験は違法だしで絶句

100 :
割とjupyterで書かせようとするところあるな。
コードがまともに管理されてないんじゃないかと心配になるわ。


100〜のスレッドの続きを読む
【JavaScript】スクリプト バトルロワイヤル55【php,py,pl,rb】
Excel VBA 質問スレ Part54
Visual Studio 2017 Part7
学ぶ言語は「広く浅く」か「狭く深く」のどっちか
プログラム板へのID導入の投票実施中 月曜0:00まで
StackOverflowについて語るスレ
次世代言語18 V Julia 他
Silverlight登場で.NET使い大勝利!!! Part2
音声合成プログラムを作りる
【PHP】下らねぇ質問はここに書き込みやがれ 2
--------------------
辺境プログレpart1
明星酸辣湯麺を語りましょう
スナックワールド 3枚目
アジアカップ2019 part39
ギリギリ昔話
JPBAって必要なの?
【野球】センバツ高校野球の21世紀枠は不要? 出場校は3年間で全敗 2020/02/23
広瀬はなぜ人気が無かったのか
7SEEDS (セブンシーズ) 1種計画
ランニング障害総合スレ part6
【名探偵コナン】灰原哀&信者アンチスレ96
雑談 粉・認・卒 Rスレ
アッキード/モリカケ総合スレッド★2887
【猛烈な暑さ】 きょうも40度近くの場所も 熱中症に警戒を 15日
【悲報】京アニ放火犯、なぜか名前が報道されない
帰ってきたゲームプレイ動画ライブ配信スレ119Mbps
●●● 女の脳は劣等脳(数学オリンピック編)
[自治議論]生き物苦手板の板名、LP変更について
【企業目線】ポケモンの外伝の今後を考えるスレ
【非イタリアン】洋麺屋五右衛門 8釜目【箸で食う】
TOP カテ一覧 スレ一覧 100〜終まで 2ch元 削除依頼