【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議 東大・松尾豊氏「深い関数の方が重要」
日経の記事では、慶應義塾大学経済学部の小林慶一郎教授がAI技術について解説。「近年、驚異的な発展を見せているAIのディープラーニング（深層学習）は、原理的には単純な最小二乗法（誤差を最小にする近似計算の一手法）にすぎない」と言及し、「ディープラーニングは『最小二乗法』」と題する図版が掲載された。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml_01.jpg
最小二乗法は、測定で得られたデータの組を、1次関数など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、モデル関数の値と測定値の差の2乗和を最小とするような係数を決定する方法。ディープラーニングに詳しい東京大学の松尾豊特任准教授は、2018年8月に登壇したイベントで、「ディープラーニングは最小二乗法のお化けのようなもの」「従来のマシンラーニングは（階層的に）『浅い』関数を使っていたが、ディープラーニングは『深い』関数を使っている」と説明していた。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml2.jpg
松尾氏は2月20日、Twitterの公式アカウントで「小林慶一郎先生はよく議論させていただくので、少し責任を感じています」とツイート。ディープラーニングを簡潔に解説するため「深い関数を使った最小二乗法」という言葉を使ってきたが、「深い関数を使った」という説明がいつも抜け落ちてしまうと嘆く。
松尾 豊
@ymatsuo
しかし、いつも「深い関数を使った」というところが抜け落ちてしまいます。ディープラーニングはその名の通り「深い」ことを強調した学術用語であり、そのくらい深いことが重要ですが伝わらない。深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきことです。
https://twitter.com/ymatsuo/status/1098116029987713024
松尾 豊
@ymatsuo
「最小二乗法」は、損失関数を最小化することで、モデルのパラメータをデータから推定することを、一般の人がぎりぎり持っている（かもしれない）知識で言い換えたもので、大雑把ではありますが、それほど悪くない言い方だと思っています。深いことに比べるとそれほど重要ではありません。
https://twitter.com/ymatsuo/status/1098116143393386497
松尾 豊
@ymatsuo
いずれにしても、経営者や政治家の方を含め、多くの人に正しく理解してもらうのは大変難しいです。「最小二乗法」がこれだけ話題になるというのは、逆に言うと、多くの人がぎりぎり理解できる地点がそこらへんまでなのだということを示してもいて、なかなか絶望的ではあります。まだまだ道は長いです。
https://twitter.com/ymatsuo/status/1098116255737737216
松尾 豊
@ymatsuo
翻って、「深い関数」という意味や、それがもたらす可能性を、（専門家の人も含め）どれだけの人がちゃんと理解しているのかとは、常々疑問に思います。もちろん、AI全般、あるいは知能全般の議論と簡単に結びつけるのは良くないですが、非常に大きな広がりがある技術だと思っています。
https://twitter.com/ymatsuo/status/1098116360062722048
続けて、「深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきこと」「『最小二乗法』は、損失関数を最小化することで、モデルのパラメータをデータから推定すること（略）深いことに比べるとそれほど重要ではありません」と投稿。経営者や政治家など、AIに詳しくない非エンジニアに正しく理解してもらうための解説は「大変難しい」と痛感しているようだ。Twitterでも同様に、AI技術について上司や同僚にどう解説すればいいかを嘆くエンジニアの声も見られた。
松尾氏は「深い関数」の意味やそれがもたらす可能性について、今後も研究や啓もう活動を続けていくと発信した。
ITmedia NEWS
https://www.itmedia.co.jp/news/articles/1902/20/news141.html
(deleted an unsolicited ad)
http://www.tyy.elsabeatriz.com/articles/19.html
それがどういう方面に応用できるか
だけでいいんだよ。
原理なんてわかったって連中には意味がない。
>>4
政治家はともかく経営者は、担当者がそれを適切に説明できる程度に理解してるのかどうかを見極めなきゃダメじゃね?
https://rosie.2ch.sc/test/read.cgi/liveplus/1550624935/l50
後になってから、自分がいかに有害であったかに気づくのです。
pzytyf/jb5ry1.html
マ一十レーヤの唇からますます厳しい警告と重みが発せられることを覚悟しなさい。
ahjzfl-1/pzytyf/u4t847
マ一十レーヤは間もなく出現してこられます。長い間の待機はほとんど終わりました。
lutefl/04zpzf/ssl5p8.html
型をずっとやってたら最後には祈るようになったようなもんでしょ
本来的な人工知能ではないな
反映されたことで作動するものをAIと呼んでいると作成者の責任を法制化しろよ
数学的理解がないからこそ
マトリックスなどの反乱といった頓珍漢な妄想を抱くことになるのだが
ニュアンスとしては間違ってなさそう
ある種の統計処理みたいなものであって
まだまだ高度な知能とはいえない
高度な知能ではないけど囲碁とかボードゲームなら有効に機能する
経済学部の教授が自分の間違いに気づかず、授業料を払っている学生に教えているのが問題。
応用する機会もないから、勉強するきっかけがない
松尾先生Ｅテレ見てます
それ自体には何の根拠もない近似法なんだよ。
何で使われてるかって、
二乗することマイナス符号が消えて、近似関数が決めやすいから。
ただそれだけ。だからその近似関数には何の意味もない。
別に最小4乗法でもかまわない。
あるいは、絶対値法（１乗法）でもかまわない。
どんなやり方をしても、まったく意味がない。
それは、いかなるやり方も勝手に想定した近似にすぎないから。
よって、>>1の者どもは
すべてアホだよ。
何も分かっていない。
ディープラーニングは、複数のニューロン群から構成される多重写像だから
単一ニューロンの単純な関数の最小二乗近似とは違うよ
より信頼できるというものですよ
ニューロンとか古い発想はもう使われてません
今は主にパターン認識と選別です
人間の脳みそも、単純なニューロンの深い深い組み合わせなわけで。
（神経伝達物質が環境変数みたいに機能しているようだけど）
ニューロンの学習も、教師（経験）に対する誤差の最小化と考えたら、
最小二乗法と、やろうとしている事レベルでは大差ないんではないかと。
違うのは方法論だけという。
単にコンピューターの性能が向上して、昔ならコストがかかったことが気軽に出来るようになっただけ
SF的な意味でのAIの事なら、今現代で言われているAIとは全くの別物と言って差し支えないよ
ただAIって言葉を使いたいがために定義がどんどん変わっていってるのが現状
日本でAIの研究が一向に進まないのは自我を持った人型の機械という空想上の人工物のせいだからね
気温とか湿度とかそんなやつじゃね
階層が一つで、活性化関数が無いケースは、まさに線形計画法そのもの。
活性化関数をつけて非線形にしたうえで、その階層を何層も重ねると、
あらびっくり。階層の深さに応じて、万能近似装置になっちゃった。
という仕組み。
ちなみに、活性化関数を入れずに、線形なまま階層を重ねても、展開すると
１層と同じものになってしまう。
ＡＩも区別して報道しろ
人間のようにどんな知識でも学習できるものなのか
その上で人間より高度の思考力をもつものなのか
あるいは、特定の分野向けにつくられた用途限定されたものなのか
あるいは、もっと原始的な思考システムなのか
AIなんて
すべて単なるプログラムにすぎんよ。
アルゴリズムがコピーできるものは
すべて単なるプログラム。
動物の脳のアルゴリズムはコピー不可だから
プログラムではないんだなこれが。
動物の脳には自我が有り、コピー化なら
AとBのどちらが「自分」だと意識するのか論理的に解無しだから
コピー不可なんだよね。
だから、AIは脳を超えるどころか
近似さえ無理。
AIはコピー化。
脳は自我が有るから不可。
この基本が分からずに研究してるバカばっか。
不可能を追及してるわけ。
複雑に説明しようとする専門家たち
ディープラーニングって
ただ単に深いニューラルネットワークと
どこが違う？
平面上に線を一本引いて、それより上なら「Ａ」、それより下なら「Ｂ」
入力と出力のデータをたくさん食わせて、直線の位置をどこにするのが
一番正しく判定できるか調べる
一番性能がよくなる直線がわかったところ＝学習が終わったＡＩデータ
あとはそれをより複雑なデータとか高い次元でやる
そんなところだろ
ｱﾌｨｶｽR
非線形な場合、安易にやれば大概はろくな結果にはならん
まあ本来は、変換辞書の学習アルゴリズムみたいなもんだからや
それは評価関数の意味を考えないアホの思想
藤原正彦博士が適任である
晩飯食ったか。
ハゲを隠すスダレ頭で、品格だの矜持だの国家だのってのが適任者なのか。
簡単に説明したつもりで、大事な所を省いて、結果間違ってたら、
そりゃ誤りを正すのも専門家の仕事だろ。
うん、お前みたいなクソバカはromってろ
ヒューリスティックな回答をするという意味では
最小二乗〜ってのもあながち間違いじゃないけど
言葉だけ独り歩きしちゃうからな…
マハラノビス距離が最小となる分類を決定する方法とかどうよ。
「重み」の選択に任意性を付すことができるが、それとどこが違う
自我ってのは脳細胞、脳全体によって生み出される機能(？)だろ。
なら、それを機械的に再現することは不可能ではないわな。
こんな場所でチューリングテストかよ！
お前は実は何もわかってないだろ？
若しくはわかった気になっているパターン
俺はディープスロートしかわからない。
自分がニューラルネットワークの研究やってたときは、四層以上の学習法は良い手法が無かった
三層構造で学習させた後に四層目を追加して、一層目は学習から外すなんて思いつかなかった
確かに二乗を使ったほうが最善という話はどこにものってないな。
計算がしやすいのは分かるが、
最初に思いつくのは絶対値を最小にすることだろう。
（ここでは１乗法と書いてある部分）
絶対値に比べて二乗だと、1より小さいと小さく評価され
逆だと大きく評価される。この評価が妥当かどうか。分からない。
(y=xとy=x^2のグラフを重ねてみれば分かる。言うまでもないが）
複雑な関数とは違うってこと？
浅い関数と深い関数をいくつか例示してくれれば、みんな分かるかもしれないのに
それのどっちかで多数決とってるイメージだね
チンポ「を」シコシコするのではなくて、チンポ「が」シコシコする。この場合、「チンポ」は主語となる。
オブジェクト指向で言う「集約」は２種類あって、全体（俺）と部分（チンポ）が繋がっている場合と、
全体（俺）と部分（チンボ）が別々になっている場合とが考えられる。けれども「チンボ」はそれ自体
が独立した生き物であり、所有者の意思とは無関係に、勃起して「シコシコする」。
例えば寝てる時にエロい夢みて朝起きてみたらチンコが勃起して射精してたとか。
違うか？
「胸がドキドキする」は良いが、「チンポがシコシコする」はダメな理由を、５０字以内で述べろ！
生命、宇宙、そして万物についての究極の疑問の答えは?
多分 最小二乗法も理解できてない
経営者は兎も角政治家に何かを求めるのが間違い
何に応用出来るのかまで示すのが真の
大胆過ぎる簡略化が御幣を招くこともある。
まあ、その手の簡略化で言うのなら、日本経済新聞は「右翼のビラ」、
慶應義塾大学経済学部の教授は、「カルト教祖」とかいったところだろうか？
ミクロに見ていっても要素が小さくなりすぎて、その本質は見えてこない
深いという点が重要な働きをしていることに間違いはないだろうけど、それだと今度はざっくりしすぎていて、
本質の部分はもう少し中間のサイズの何かなんだろうね
ニューラルネット＝神経回路網
ディープラーニングとは、ディープニューラルネットを使って学習をする
仕組みのことだ。
ディープニューラルネットというのは、多階層のニューラルネットで
その階層の数がとても多いもののことをいう。
階層を重ねることによって、複雑な振る舞いを模倣できるようになるが、
その模倣を上手くやるための良い調整のパラメータを決めるのが
階層が深くなるとそれだかとても難しくなり、大量の計算をして最適な
調整パラメタを決めている（それでも本当に最適であることは一般には
証明できないが、多数の学習例題をうまく近似できていれば、一応問題は
ない）。 ニューラルネットのアプローチは、多数の事例に対して
パラメータあわせをして作った結果は、なんらかの意味で本質を抽出
していて、まったく未見の新しくやって来た事例に対しても、それなりに
正しい応答をするだろうという仮定を置いている。
犬と猫の絵をたくさんみせてこれが犬でこれが猫だと正解をつけて
学習させたとき、まだ見せたことの無い犬を見せてそれを犬と判断できるか
どうか。あるいはまだ見せたことの無い猫を見せてそれを猫と正しく判断
できるかどうか。犬と猫のハーフを見せたらどうなるのか？馬を見せたら
どうなるのかなど、哲学にも通じるものがある。
これちょっとしたビーンノレッジな。
「ＡＩ」というものは、一種の万能関数だ。
つまり、無数にある係数を調整することで、どんな関数でも近似できる。
で、問題は、その係数を効率よく決定することになる。
最初の万能関数は、テーラ級数展開とかフーリエ級数のようなものだろうか？
で、これらの係数を決定するのに使う手法が最小二乗法だ。
次に、発明された万能関数としてチューリングマシンがある。
これは、アナログではなくデジタルの万能関数だ。
しかし、チューリングマシンのプログラミングはあまりにも人間には難しかった。
で、これに思い切って性能は劣化するが「命令とデータの分離」という制限を付けることで
人間の知能でもプログラミングしやすくしたのが、ノイマンマシン。
それでも、プログラミングが面倒だった。
そこで、人間の脳に関する知見を元に作られたアナログ万能関数が、パーセプトロン。
でも、今度は近似性能が低過ぎる。
パーセプトロンの問題点を探ってみると、「万能」化させる負荷が、特定のごく少数の浅い部分の係数ばかりに
集中していることが性能劣化の主な原因のようだ。
で、その他の「深い部分」にある係数も、「万能」化、学習に動員させるように改良したものが、
ディープラーニング。
この小林慶一郎氏は東大計数工学科の出身らしいから、当時はニューラルネットワークの権威の甘利俊一先生がいたところだから、
日本で一番ニューラルネットワークについて研究できるところでもあり、つい何か言いたくなっちゃうんだろうね
>>48
ディープラーニングは部分的に数学を使うとはいえ、多数の評価が組み合わさってどうなるかの話だから、数学者に聞いても何か分かるとは限らないぞ
実は数学的な何かの性質が本質的な働きをしているということがもしあれば、それは数学者の方が見抜ける可能性はあるのかもしれないが
たとえば、CycはFredという名前の男がドナルドダックのモノマネをするという話が理解できなかった。
Cycの推論エンジンは、この話の中に矛盾を見つけた。Cycは人間には羽がないことは知っているが、
アヒルのように歩き、アヒルのように鳴くものはアヒルに違いないと考えた。
したがって、CycはFredがドナルドダックのモノマネしている間、
Fredはそれでも人間なのかと尋ねた。
925 デフォルトの名無しさん 2018/11/21(水) 18:36:07.42 ID:8Yc2p7H1
>>919
＞そもそもアランケイの言う「実行中」は「起動中」であって
＞「使用中」じゃないんだろう。マルチユーザーで誰かが使用している最中に
チンポがシコシコしている間、俺はそれでも俺なのかと尋ねた。
829 デフォルトの名無しさん 2018/11/11(日) 09:52:59.70 ID:y84pWKv0
（第1章 はじめに 2頁）
たとえば、CycはFredという名前の男が朝にひげをそるという話が理解できなかった。
Cycの推論エンジンは、この話の中に矛盾を見つけた。Cycは人間には電気の部品がないことは知っているが、
Fredが電気カミソリを持っていたので、エンティティ「Fredがひげそり中(FredWhileShaving)」
には電気の部品が含まれていると考えた。したがって、CycはFredがひげをそっている間、
Fredはそれでも人間なのかと尋ねた。
『深層学習』
著者:
Ian Goodfellow, イアングッドフェロー,
Yoshua Bengio, ヨシュアベンジオ,
Aaron Courville, アーロンカービル
係数全体が示す（多次元）平面上に、目標の近似達成度という一次元の関数が定義できる。
「学習」とは、その近似達成度が最大化するように、係数ベクトルを移動させてゆく問題だ。
ちょうど、（係数ベクトルという）パチンコ玉が、（近似達成度の）窪みに落ち込むように揺すったり叩いたりする数学的手続きをするのが、
ボルツマンマシンだ。
既存のパーセプとロンでは、揺すり方が、単調で小刻み過ぎて、ちっともパチンコ玉が小さな丘も超えられない。
で、ディープラーニングなどでは、思い切って、もっと、大きく揺すったりする。
>>922
＞ナンチャッテメッセージングスタイルになったのは
チンポ.オシッコを出す
チンポ.オシッコを止める
さっきトイレでやってきた。
929 デフォルトの名無しさん 2018/11/21(水) 19:07:17.83 ID:8Yc2p7H1
>>915
＞単なる動的なメソッド呼び出しをメッセージと称し、ただしコールするメソッドが見つからない場合だけメッセージを
＞ハンドリングできる省コストなナンチャッテメッセージングスタイルに落ち着いた。
×
俺.オシッコを止める 俺.オシッコを出す
○
俺.チンポに力を入れる 俺.チンポから力を抜く
しかし、係数が増えれば、その分、近似精度は上がる。
近似性能の上昇と係数の簡略さの相克を考えた係数の最適数を決定する公式として、
ベイズ統計では、「赤池の公式（Ａkaike's Ｉnformation Ｃ.）」というのがあったはずだが、
最近の教科書では、取り上げられていないことが多くなった。
当然ながら起きているときも、チンポがシコシコする！
風呂から出て体一杯に水を浴びながら竜哉は、この時始めて英子に対する心を決めた。裸の上半身にタオルをかけ、
離れに上ると彼は障子の外から声を掛けた。
「英子さん」
部屋の英子がこちらを向いた気配に、彼は勃○した陰○を外から障子に突きたてた。障子は乾いた音をたてて破れ、
それを見た英子は読んでいた本を力一杯障子にぶつけたのだ。本は見事、的に当って畳に落ちた。
その瞬間、竜哉は体中が引き締まるような快感を感じた。彼は今、リングで感じるあのギラギラした、
抵抗される人間の喜びを味わったのだ。
●これが衝撃の「障子破り」シーンだ！ （石原慎太郎 『太陽の季節』 （新潮文庫） より）
http://www.geocities.co.jp/Bookend-Soseki/3578/2003/shoujiyaburi.htm
＞その瞬間、竜哉は体中が引き締まるような快感を感じた
チンポがシコシコする≠勃起、つまりそれはただチンポが勃起するのではなくて、
「体中が引き締まるような快感を感じた」ということなのである！！
0. 外国語、特に英語、の教え方
｢読み書きは出来るが会話ができない｣というのは間違い。｢読み書き｣も出来ない
Decorative artとは、絵画、彫刻、建築を除いた家具、食器、絨毯、藍掛け、花瓶、タイル、
ドアのノッカーなど美術品と見做せるものの総称
表裏は日本語だと｢おもて｣と｢うら｣だが、漢文では｢外側｣の｢内側｣であり、｢裏｣は｢なか｣である。
コインの場合、英語ではhead & tailで、誰かの頭部の像がある方が日本語の｢おもて｣だが、tailが｢うら｣とは奇妙
http://hiroomikes20120501.blogspot.com/2014/12/20141212.html
志村五郎『中国説話文学とその背景』（ちくま学芸文庫）
著者の志村氏は、米プリンストン大学の数学者らしい。志村氏が五十数年かけて集めた中国の説話を、
八年かけて一冊書き上げたと、本人が書いているので、趣味のライフワークの結晶めいてみえるのもむべなるかな。
http://d.hatena.ne.jp/nagaichi/touch/20071008/p1
最小二乗法、ディープラーニングの関係性は不明なんだが
情報幾何はすべてを含む理論なのか
赤穂昭太郎
産業技術総合研究所
脳神経情報研究部門
https://staff.aist.go.jp/s.akaho/papers/infogeo.pdf
ソフトウエア実装で自分で組んだんじゃなくてライブラリー利用して
APIいじっているようなレベルのアホが多すぎるだけ
それ見れば、最小二乗法で無いことは分かるだろう
それは力任せに単純化したのとハードウェアのレベルがいまとは異次元の差だと
理解できないやつが多いだけ。
バックプロパゲーションとかの時代は8ビットのマイコン初期だぞ、
速度以前に容量的に不可能ってことさ。
何をどう説明しても情報のつながりを最適化する問題でしかなく、それ以上でもそれ以下でもなく
完全になる解が無いデータを無数に処理させても完全解にはならない。
AIが難しいのはシステムを作り出す過程でのデータマイニングのほうであって学習のほうではない
のは明らかである、AIを全て学習だけでさせられると勘違いしているアホだらけ。
学習原理により情報を最適化する部分については、何の反論もできていないのに
なにをシッタカしているのか？
基本的なテンソル演算での技術基盤は共通だ。
圧縮にjpgとかpngとかgifとかあるが。
ディープラーニングはその圧縮法を自動学習させるようなことと理解してるが。
圧縮先は、既に画像でなく文字になりネコ、イヌ、ヒト、その他とか。
日本経済新聞も人材の質が低下傾向。
朝日新聞は東大卒がゼロに。日経新聞も相当減ってるだろ。
新聞なんか選ぶ一流学生はいない。
100〜のスレッドの続きを読む