TOP カテ一覧 スレ一覧 100〜終まで 2ch元 削除依頼
技術的特異点/シンギュラリティ181【技術・AI】
人工知能
お前らUFO作れって言われたら作れる？
不老不死（不老長寿）を目指すスレ　Part22
オオカミ導入による生態系復元
ブロックチェーン/分散型台帳技術
(強いAI)技術的特異点/シンギュラリティ
●　放射能をなくす発明　●
未来技術板 自治スレッド
(AIとBI)技術的特異点と経済･社会等 8
558 ：
Page 14
階層 ry 効率 ry 各レベルで学習されたパターンが上位のレベルで組み合わせて再利用 ry
学習時間とメモリ消費を非常に節約する。
説明のため、視覚 ry 。階層構造の最下位レベルでは、
脳は縁13や角などの視覚のごく一部分に関する情報を格納する。
縁は ry 基本的な構成要素である。これらの下位レベルのパターンは中間レベルで ry
曲線や模様などのより複雑な構成要素に集約される。
円弧は耳の縁 ry 車のハンドル ry カップの取っ手 ry
。これらの中間レベルのパターンはさらに集約されて、頭、車、家などの
高レベルな物体の特徴を表す。
高レベルな物体 ry 、その構成要素を再度学習する必要がなくなる。
ry 単語を学習 ry 文字や文節、発音を再度学習する必要はない。
階層構造間で表現を共有 ry 、予期される行動の一般化にもなる。
ry 動物を見 ry 、口や歯を見 ry 食 ry 噛 ry 予測 ry
。階層構造により、 ry 新しい物体がその構成要素が持つ既に分かっている特徴を
引き継いでいることを知ることができる。

559 ：
一つの HTM 階層構造はいくつの事柄を学習 ry ？
言い換えれば、階層構造にはいくつのレベルが必要 ry ？
各レベルに割り当てるメモリと、必要なレベル数の間にはトレードオフ ry
HTM は入力の統計及び割り当てられたリソースの量とから、
各レベルの最適な表現を自動的に学習 ry
多くのメモリを割り当 ry レベルはより大きくより複雑な表現を構成し、
従って必要となる階層構造のレベルはより少 ry
少ないメモリ ry 小さく単純な表現を構成し、 ry レベルはより多 ry
ここからは、視覚の推論14のような難しい問題について述べる
（推論はパターン認識と似 ry ）。しかし多くの価値ある問題は視覚より単純で、
一つの HTM リージョンでも十分 ry
Web ry どこをクリックするか予測 ry
。この問題は、一連の Web クリックのデータをHTM ネットワークに流し込 ry
。この問題では空間的階層構造はわずか ry 。解決策は主に時間的な統計 ry
一般的なユーザのパターンを認識することで、 ry どこをクリックするかを予測 ry
13 edge。へり・ふち。
14 inference

560 ：
>> http://rio2016.2ch.sc/test/read.cgi/future/1478753976/725-
レンダリングなし ( 合成の単なる発展系 ? )
http://google.jp/?q=temporal+frame-hokan

561 ：
http://rio2016.2ch.sc/test/read.cgi/future/1478753976/795
> 795 ：オーバーテクナナシー：2016/11/16(水) 11:52:11.84 ID:BYy/Er5p
> 【 考察メモ 】深層学習モデル設計者 が、人間 脳の神経回路（コネクトーム）
> 形成・変容メカニズム から 学ぶべきこと、学ぶべきでないこと
> http://qiita.com/HirofumiYashima/items/abd68a6070a6ddf27ec2
http://rio2016.2ch.sc/test/read.cgi/future/1478753976/844
> 844 : yamaguti~kasi 2016/11/16(水) 21:47:25.64 ID:om/S71rA
> >>795
>> あらゆる方向に（直交格子座標でなく）ニューロンを並べ ry すべての組み合わ ry
>> 「結合あり（非零の結合荷重）・結合なし（零の結合荷重）を定義」
>> すると、ほとんどのニューロン ry 結合荷重は、零になり、疎な多次元行列 ry 計算量
> http://rio2016.2ch.sc/test/read.cgi/future/1427220599/552#558
> http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#16
>
>> 『コネクトーム:脳の配線はどのように「わたし」をつくり出すのか』本 ry 『再』配線 ry
>> ・ ry 結合の軸索 or 樹状突起を切り落とす（＝結合荷重を零に ry と、
>> ・ ry 存在しなかった ry 樹状突起（軸索も？）を生長させる（結合荷重を零から非零に ry
>> との同時発生
> #25#26#33-36#75

562 ：
Page 15
まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry
しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry
リージョン
階層構造に連結されたリージョン15の表現は、生物学から ry
新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry
基づいて、新皮質を異なる領域ないしリージョンに区分けする。
あるリージョンはセンサから直接入力 ry
、他のリージョンは他のいくつかのリージョンを経由 ry
。階層構造を決 ry ージョ ry ョンへの接続関係 ry
新皮質のすべてのリージョンの細部は似 ry
サイズや階層構造の中のどこに位置 ry 違 ry 、その他は似ている。
厚さ 2mm の新皮質リージョンを縦にスライスしたなら、6 つの層 ry 。
5 つはセルの層で、1 つはセルではない層である（少しの例外 ry ）。
新皮質リージョンの各層はカラム状に数多くの相互接続されたセルがある。
HTM リージョンもまた、高度に相互接続されたセルがカラム状に配列された皮 ry
新皮質の第 3 層はニューロンの主要なフィード・フォワード層である。
HTM リー ry のセルはおおまかに言えば新皮質のリー ry 3 層にあるニューロンと等価 ry
図 １-３ HTM リージョンの区画。 ry 。セルは二次元のカラム状 ry
図では、1 カラム当たり 4 つのセル ry 小さな区画 ry 。各カラムは入力
15 region。体の部位、局部など ry

563 ：
Page 16
の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。
この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、
複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現
新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン
だけが一度にアクティブになるように抑制ニューロンによって保護されている。
よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ
のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry
「疎」とは、わずかなパーセンテージのニューロンだけが一度にアク ry
。一つのアクティブなニューロンは何らかの意味表現に関わっているが、
いくつかのニューロンの文脈の中で解釈されて初めて完全に意味 ry
ry HTM リージョンの記憶の仕組みは疎分散表現に依存 ry 。
ry 入力 ry 疎であるとは限らないので、HTM リージョンが最初に ry 疎分散表現に変換 ry
ry リージョンが 20,000 ビットの入力 ry
。入力ビットの中の”1”や”0”の割合は、時間と共に非常に頻繁に変化 ry
ry 、またあるときは 9,000 個のビットが”1”であったりする。
HTMリージョンはこの入力を 10,000 ビットの内部表現に変換して、
入力 ry の 2%にあたる 200 ビットが一度にアクティブになるようにする。
ry 入力が時間と共に変化するに従って、内部表現もまた変化するが、
10,000 ビットのうち約 200 ビットが常にアクティブになる。
リージョン内で表現可能なものの数よりも起こりうる入力パターンの数の方が
ずっと大きいから、この処理によって多くの情報が失 ry 、と思 ry
。しかしながら、どちらの数も途方もなく大きい。
ry どのようにして疎表現を作成 ry 後述する。 ry 情報のロスは ry 問題にならない。

564 ：
Page 17
図 １-４ HTM リージョンのセルが疎分散的にアクティブ ry
時間の役割
時間は、学習・推論・予測において極めて重要 ry
時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。
ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry
。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、
ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry
手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry
同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。
「りんご」という言葉や、誰かがりんごを噛んだときの音などは、
時間と共に素早く順序的に変化する数十から数百の音階の列 ry
視覚は対照的に、混在したケースである。 ry 一瞬だけ ry でも識別可能 ry
必ずしも時間的な入力の変化を必要としない。しかし ry
常時、目や頭や体を動かしており、物体もまた周囲を動き回 ry 。素早 ry 視覚的変化
の中から推論する我々の能力は、視覚の統計的な特徴と長年の訓練によってもたら

565 ：
Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry
。視覚では静的な画像の推論がときには可能なものの、
物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry
網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。
脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。
時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても
混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry
。もし発電所の温度・振動・雑音のパターンを認識するように HTM を訓練 ry
これらのセンサの時間的な変化からもたらされるデータで訓練 ry
ry HTM ネットワークは多くのデータで訓練 ry 。HTM アルゴリズムの仕事は、
データの時系列の流れ ry どのパターンに続いて ry ーンが現れるかというモデルを構築 ry
。この時系列がいつ始まりいつ終わるのかがわからないので、この仕事は難しい。
同時に複数の時系列が重なりあって起こることもある。
学習は継続的に行われ、またノイズがある中で行われなければならない。
シーケンスの学習と認識は予測を形成する基準 ry ーンが他のどのパターンに続くかを
HTM が学習すれば、 ry 現在の入力とその直前の入力に対して
次にどのパターンが現れる可能性が高いかを予測 ry
HTM の 4 つの基本的な機能に戻ろう：学習・推論・予測・行動16である。
各 HTMリージョンは最初の 3 ry 、学習・推論・予測を実行 ry しかし ry 行動は異なる。
生物学によれば、多くの新皮質のリージョンが行動を形成 ry
しかし我々は、多くの興味深いアプリケーションにおいてこれは重要ではないと信
16 behavior

次スレ
50年後に販売されていそうな製品を考えるスレ
ここだけ時代が500年進んでるスレ　Part8
脳I/Oインターフェース
[ ｽﾊﾟｺﾝ ] PEZY 齊藤先生 応援ｽﾚ [ BCI ]
[憲法]PEZY齊藤先生潰しのﾔﾗｶｼ実行部隊一翼は[違反]
NullPointerExceptionを「ぬるぽ」と呼ぶスレ2
マルクス主義的、唯物史観的に技術の未来を予測する
(強いAI)技術的特異点/シンギュラリティ124
人工生命　Part1
--------------------
フレイヤビューティークリニック
小畑優奈
鳩山由紀夫「日本がホワイト国から韓国を外したのは過ちで早く直すべきだと韓国で述べてきた」　ネット「このバカ日本に帰ってくんなよ
トウカイテイオーって本当に強かったの？
いたずら電話常習犯家族秋田県湯沢市関口千葉順一
愛知県知多半島への旅行
ping
ﾊﾞｶｳﾖのせいで愛国心をすっかりなくした奥様18
【やったね】海外産-Rは香港の時代へ突入【母さん】
中川翔子の謎
【禁輸措置】ファーウェイへの部品出荷停止　米企業業績見通し下方修正　株価下落
サブカル・オタク界隈自体に嫌気の差した同人者17
クロノス - TOKYO FM/JFN - 中西哲生/高橋万里恵/速水健朗 Part.3
【大和南】　二見 梓　【かわいい】
Inter-universal geometry と ABC予想 38
雑談　中村区役所
【戦国乙女10周年】足利ヨシテル様ファンクラブ27本目
ACジャパンのCMで印象に残ってるやつある？
【近火】ポップアップトースター【ｳﾏｰ】
米軍機　福島空港に緊急着陸
TOP カテ一覧 スレ一覧 100〜終まで 2ch元 削除依頼