知能研究スレ2
/;:"ゝ 三三 f;:二iュ 何でこんなになるまで放っておいたんだ！
三 ＿ゞ::.ﾆ! ,..'´￣｀ヽﾉﾝ
／.;: .:}^（ <;:::::i:::::::.::: :}:} 三三
〈::::.´ .:;.へに)二/.::i :::::::,.イ ﾄ ヽ__
,へ;:ヾ-､lｌ＿＿/.:::::､:::::f＝ｰ'＝＝､`ｰ-="⌒ヽ ←上坂すみれ
. 〈::ﾐ/;;;iーﾞii====|:::::::.｀ Y￣￣￣,.シ'=llー一'";;;ド'
};;;};;;;;!￣ll￣￣|:::::::::.ヽ＼-‐'"´￣￣ll
oﾉ oﾉ
| | 三
_,,..-―'"⌒"~⌒"~￣ﾞﾞ"'''ｮ ミ
ﾞ~,,,....-=-‐√"ﾞﾞＴ"~￣Y"ﾞ=ﾐ |`----|
Ｔ | l,＿,,/＼ ,,/l |
,.-r '"l＼,,j / |/ L,,,/
,,/|,／＼,/ _,|＼_,i_,,,/ ／
酢豚(RKBホークス)7
http://potato.2ch.sc/test/read.cgi/tubo/1471830639/
実況板などの荒らしだから、このスレは使わない様に
この荒らしは、スレ立て時>>1が不快なAAだから。
https://www.youtube.com/watch?v=AlsJX79Kcvo
<< 技術課題名* >>
ミウラ mruby 方式電子頭脳 VM
<< 技術課題を乗り越えて実現したい目標* >>
( 純国産 ) 電子頭脳 ( 搭載人造人間 )
謹啓 お中元の準備も整わずの応募をご容赦願えましたら .
* 実現への道筋
有機分散化前提超細粒度並列 RT 機構模索
自然言語ラベルベース自律記憶装置 ( 型システム根源 )
mruby 版幾何エンジンベース自律スプライト電脳空間 ( CellBE / シャープ社 X )
* その他
ログ サンプル
0 ENTER 62
1 LOADSELF 6000001
2 LOADI 38900c1
1 LOADSELF - -
1 getarg_a 6000001
1 getarg_a 6000001
1 LOADSELF 2 -
1 LOADSELF 2 2
3 SEND 0a00001
2 LOADI - -
2 getarg_sbx 38900c1
2 getarg_a 38900c1
2 LOADI 41 3
0 ENTER 6200002
:
> 87 : YAMAGUTIseisei 2016/09/02(金) 20:19:09.47 ID:dnyMZM3F
> 私の不徳の致す所であれまたしても国に支援をоられる事態に至ってしまった以上
> 電子頭脳の仕組に付いて発表しても売о奴の誹りは免れ得ましょう
> 純国産の夢が潰える事になり申訳なく思います
フェーズ 2
ry 各セルの予測状態を計算する。セルのどれかのセグメントがアクティブになると、
そのセルの predictiveState がオンになる。
即ち、十分な数の横方向の接続先が、フィード・フォワード入力によって現在アクティブ
であればオンになる。この場合、そのセルは以下の変更を待ち行列に加える：
a) 現在アクティブなセグメントを強化56する（47-48 行目）、
b) このアクティベーション57を予測し得たセグメント
（即ち、前回の時刻ステップでアクティビティに（弱いかも ry ）マッチしたセグメント）
を強化する（50-53 行目）。
42. for c, i in cells
43. for s in segments(c, i)
44. if segmentActive(s, t, activeState) then
45. predictiveState(c, i, t) = 1
46.
47. activeUpdate = getSegmentActiveSynapses(c, i, s, t, false)
48. segmentUpdateList.add(activeUpdate)
49.
50. predSegment = getBestMatchingSegment(c, i, t-1)
51. predUpdate = getSegmentActiveSynapses(
52. c, i, predSegment, t-1, true)
53. segmentUpdateList.add(predUpdate)
ry 実際に学習を実施する。
待ち行列に追加されたセグメントの更新は、フィード・フォワード入力を得てセルが
学習セルとして選択されたときに実施される（55-57 行目）。
そうではなく、もしセルが何らかの理由で予測を停止した場合、
そのセグメントをネガティブ58に強化する（58-60 行目）。
56 reinforcement。フェーズ 3 で強化学習をする処理対象を segmentUpdateList に記憶する。
57 44 行目の if 文の条件が成立したこと
58 逆に弱める方向に学習する
http://rio2016.2ch.sc/test/read.cgi/future/1449403261/165
54. for c, i in cells
55. if learnState(s, i, t) == 1 then
56. adaptSegments (segmentUpdateList(c, i), true)
57. segmentUpdateList(c, i).delete()
58. else if predictiveState(c, i, t) == 0 and predictiveState(c, i, t-1)==1 then
59. adaptSegments (segmentUpdateList(c, i), false)
60. segmentUpdateList(c, i).delete()
61.
ry 。各セルは二つの数値でアクセスする。カラムの添字 c と、セルの添字 i である。
セルは樹状突起セグメントのリストを保持する。各セグメントはシナプスのリストと、
各シナプスごとに永続値を保持する。 ry 変更は、セルが
フィード・フォワード入力によってアクティブになるまでは一時的とマークされ ry
segmentUpdateList によって保持される。
各セグメントはまた、論理値のフラグsequenceSegment を保持する。
これはそのセグメントが次の時刻ステップにおけるフィード・フォワード入力
を予測するかどうかを示している。
シナプス候補の実装は空間プーリングの実装とは異なっている。
空間プーリングでは、シナプス候補の完全なリストが明示的に示される。
時間プーリングでは各セグメントが固有のシナプス候補の（ときには大きな）リスト
を保持することができる。実際には各セグメントごとに大きなリスト ry は、計算量 ry
メモリ消費 ry 。そこで ry 時間プーリングでは学習の際に各セグメントごとに
アクティブなシナプスをランダムに追加する（newSynapseCount パラメータで制御する）。
ry 候補のリスト ry と同様の効果があり、しかも新たな時間的パターンを学習でき ry
リストはずっと小さくなる。
疑似コードはまた、異なる時刻ステップのセル状態の推移 ry 小さな状態遷移マシンを使用 ry
。各セルごとに三つの異なる状態を維持管理する。
配列activeState と predictiveState は各セルの各時刻ステップごとの
アクティブ状態及び予測状態の推移を追う。
配列 learnState はどのセルの出力が学習のときに使用されるかを決定する。
入力が予測されなかったときは、
その特定のカラムのすべてのセルが同じ時刻ステップ内に同時にアクティブになる。
これらのセルのうちの一つだけ（入力に最もマッチするセル）で learnState がオンになる。
learnState がオンのセルだけにつ
その構造はどういったものになるのか、知能研究的な方法の意見が聞きたい。
これは嫌だなー。。本当だったら落ち込むわー。。
いて、シナプスを追加する（これは
樹状突起セグメントの中で完全にアクティブになったカラムを強調しすぎないように ry ）。
以下のデータ構造が時間プーリング疑似コードで ry
cell(c,i)
すべてのセルのリスト。iとcで指し示される。
cellsPerColumn
各カラムのセルの数
activeColumns(t)
フィード・フォワード入力によって勝者となったカラム（空間プーリング関数の出力）
のインデックスのリスト
activeState(c, i, t)
各セルが一つずつ持つ論理値のベクトル。カラムc セルi時刻tにおけるアクティブ状態を表す。
これは現在のフィード・フォワード入力と過去の時間的文脈から与えられる。
activeState(c, i, t) が1なら、そのセルは現在フィード・フォワード入力を持ち、
適切な時間的文脈を持つ。
predictiveState(c, i, t)
各セルが一つずつ持つ論理値のベクトル。カラムc セルi時刻tにおける予測状態を表す。
これは他のカラムのフィード・フォワード状態と過去の時間的文脈から与えられる。
predictiveState(c, i, t) が1なら、そのセルは現在の時間的文脈から
フィード・フォワード入力を予測している。
learnState(c, i, t)
カラムc セルi が学習対象のセルとして選択されたことを表す論理値
あるセグメントをアクティブにするしきい値。 ry
接続されたアクティブなシナプスの数が activationThreshold より大 ry アクティブに ry
learningRadius
横方向の接続を持つ、時間プーリングセルの周囲の領域の範囲
initialPerm
シナプスの永続値の初期値
connectedPerm
あるシナプスの永続値がこの値より大 ry 接続している ry
minThreshold
学習の際の、アクティブなセグメントの最小数
newSynapseCount
学習のときにセグメントに追加されるシナプスの最大数
permanenceInc
アクティビティによる学習が発生したとき、シナプスの永続値を増加させる量
permanenceDec
ry 減少させる量
理由はなんでだろ
ry ryaku (略)
人工知能で生成された書き込みなら凄い実験だと思うけど。
>> 285 : YAMAGUTIseisei 2016/09/20(火) 18:30:05.12 ID:6OGBdxmX
>> お役人様が技術がお得意でない事はやむを得ない面も
>> 大問題の一つは 300 万円という所 ( 億や兆のお話ならいざ知らず )
>> 電子頭脳 VM に 300 万円の価値すらないとのご判断は
>> 本当に私の不徳の致す所で我ながら不甲斐なく情けない
>>
>> 中国に引取って貰いたい
>>感覚レベル感情レベル魂 ( ゴースト ) レベル融合用粒度リアルタイム有機分散並列 VM
>> は Cell / SW26010 の為にある
>>
>>> 393 : YAMAGUTIseisei 2016/09/04(日) 17:38:14.73 ID:yWawFej1
>>> 売ればよい ? 軍事利用ならず人類о亡まで現実的なのに ?
>>> 売って下さいはいどうぞという類でない → だからこその国への応募
>>
>>> 確かにオノ・ヨーコ氏辺りに持込ませて頂く案も → `` 電子頭脳です '' `` イタズラなら帰って ''
>>> ( + レディーに研究者がソフトウェアの話をする事程間の抜けた話もない
>>>オノ氏になら `` 俺の子供を産んでくれ '' とでも申上げる方がまだ無礼がない )
http://rio2016.2ch.sc/test/read.cgi/future/1449403261/135
ところで？書き綴られているものはＨＴＭ理論のダイジェスト版みたいなもんかな？
segmentUpdate
与えられたセグメントを更新するときに必要な情報を保持するデータ構造で、
以下の3項目からなる。a) セグメントの添字（新しいセグメントのときは-1）、
b) 既存のアクティブなシナプスのリスト、c) このセグメントが順序セグメントと
マークされべきかどうかを表すフラグ（デフォルト値はfalse）。
segmentUpdateList
segmentUpdate 構造体のリスト。segmentUpdateList(c,i) はカラムc セルi の
変更内容のリストである。
以下の補助関数が上記のコードで ry
segmentActive(s, t, state)
セグメントs 時刻t において、state で与えられた状態によってアクティブになった接続状態
のシナプスの数がactivationThreshold より大きい時、真を返す。
state パラメータは activeState 又は learnState である。
getActiveSegment(c, i, t, state)
ry たカラムc セルi について、segmentActive(s,t, state)が真になるセグメントの添字を返す。
ry 、順序セグメントがあればそれ ry なければもっともアクティビティが高いものが優先する。
getBestMatchingSegment(c, i, t)
与えられたカラムc セルi について、アクティブなシナプスが最も多いセグメントを探す。
この関数は積極的にベストマッチを見つける。
シナプスの永続値は connectedPerm より小さくても許される。
アクティブなシナプスの数はactivationThreshold より小さくても許される。
ただし、minThreshold より大きくなければならない。
この関数はセグメントの添字を返す。もしセグメントが見つからなかったら-1 を返す。
getBestMatchingCell(c)
与えられたカラムについて、ベストマッチセグメント（上記参照）を持つセルを返す。
ry マッチ ry なければ、最もセグメントの数が少ないセルを返す。
http://rio2016.2ch.sc/test/read.cgi/future/1484485942/981
getSegmentActiveSynapses(c, i, t, s,newSynapses=false)
セグメントs に対して提示された変更のリストを保持するsegmentUpdate 構造体を返す。
activeSynapses を、接続元のセルの時刻t における activeState 出力=1 であるような
アクティブなシナプスのリストとする（s=-1のときはセグメントが存在しないため ry 空 ry
）。 ry 。 newSynapses が真の時は、 newSynapseCount -count(activeSynapses) 個
のシナプスが activeSynapses に追加 ry
シナプスは、時刻t において learnState出力=1 であるセルの中からランダム ry
adaptSegments(segmentList,positiveReinforcement)
この関数は segmentUpdate のリスト要素について繰り返し、各セグメントを強化 ry
。 ry 各要素について、以下 ry
positiveReinforcement が真のとき、アクティブなリスト上のシナプスの永続値は
permanenceInc だけ増加させる。他 ry permanenceDec だけ減 ry
。 positiveReinforcement が偽のとき、アクティブなリスト上のシナプスは
永続値を permanenceDec だけ減 ry
。これらの処理の後、segmentUpdate の中にまだ存在しないシナプスについて、
永続値 initialPerm にて追加する。
寄付を呼びかける時点でわかった、多分ね、研究費がなくて、
誰も信じられなくなって自暴自棄でノイローゼなんだよ。
２ｃｈには適当でいいんじゃないかな。
165 山口青星 2017/01/03(火) 11:31:19.99ID:igW+0jZp
> 256 : YAMAGUTIseisei 2016/10/23(日) 23:53:30.82 ID:Dlm82Fb1
> 自分には一言申上げる資格があるでしょう
>
> о隷階級の分際で大変失礼な申上げ様ながら
> この計画案を国が結果的に潰す格好となった事は事実です
> 257 : YAMAGUTIseisei 2016/10/24(月) 00:02:20.63 ID:trJeFV+a
> 野暮な付け加えですがご関係各所様又先生方又支援者の皆様に
> 言葉はよろしくありませんが上納金と申しますをお届けできなくなりました事を
> 謹んでお詫申上げます
付録 A: 生体ニューロンと HTM セルの比較
上の画像は左側が生体ニューロンの写真、中央が単純な人工ニューロン、
右側がHTM のニューロンあるいはセル ry 。この付録の目的 ry 比 ry
実物のニューロンは途方もなく複雑で変化に富んでいる。
ここではその最も普遍的な原理に注目し、また我々のモデルに関わる部分に限定する。
ry 、HTM 大脳皮質性学習アルゴリズムで用いられているセルは
多くのニューラルネットワークで用いられている人工ニューロンよりも
はるかに現実に即している。 ry
生体ニューロン
ニューロンは脳内で情報を伝えるセル59である。上記左の画像は標準的な興奮性の
ニューロンである。 ry 外見の大部分は枝分かれした樹状突起で占められている。
ry すべての興奮性の入力は、樹状突起に沿って配置されたシナプスを経由 ry
。近年、ニューロンに関する知識 ry 最大の発見は、
ニューロンの樹状突起が入力を細胞体60に繋ぐ単なる導線ではないと分かったことで
59 cell ry 「セル」と訳したが、生物の細胞を意味する。
60 cell body。ニューロン中央の膨らんだ部分。
ただのメモリーだと思っていた各々のセルそれ自身が知能の素(演算処理装置)になってるのでしょうか？
だとすれば、Ｎvidiaグラフィックス系の多コア超並列演算処理に行き着くのですが
その多コア演算で知性や思考にどう結びつくのかがよく分かりません。
ある。今では樹状突起はそれ自体、複雑な非線形処理部品であることが分かっている。
HTM 大脳皮質性学習アルゴリズムはこの非線形の特性を利用している。
ニューロンはいくつかの部分 ry
細胞体
細胞体はニューロンの中央にある小さな体積を持つ部分である。
セルの出力、軸索61は、細胞体から出ている。
セルへの入力は樹状突起に沿って配置されたシナプスであり、それは細胞体に入力される。
主要樹状突起62
細胞体に最も近い ry 枝は主要樹状突起 ry 図 ry いくつかを緑色の線 ry
ry 突起上の複数のアクティブなシナプスは、細胞体に対して概ね線形の加算 ry
。5 つのアクティブなシナプスは 1 つのアク ry 概ね 5 倍の脱分極63を細胞体に ry 引き起 ry
。対照的に、ある一つのシナプスが後続の素早い活動電位64によって繰り返しアクティブ
になったとしても、2 番目、3 番目と続く活動電位による細胞体への影響は、
最初のものよりずっと小 ry
このため、主要樹状突起への入力は細胞体に対して線形に加わること、単一のシナプスに
届いた複数の素早いパルスの影響は一つのパルスより少し大きいだけであることが言える。
新皮質のリージョンへのフィード・フォワード接続は主要樹状突起に優先的に接続 ry
。これは少なくとも、各リージョンの ry 主要な入力層である第 4 層のニューロンについて ry
細胞体から遠く ry 枝は末梢樹状突起 ry 図 ry いくつかを青色の線 ry
61 axon
62 proximal dendrite
63 depolarization。神経細胞内の電位は通常は-70~-60mV 程度。
ニューロンが刺激を受けたためにこの電位が上がることを脱分極という。
脱分極により電位があるしきい値を超えるとニューロンが発火する。
64 action potential。なんらかの刺激に応じて細胞膜に生じる一過性の膜電位の変化。
65 distal dendrite
> 137 山口青星 2016/11/27(日) 07:21:54.12 ID:vHhUl6EA
> >>135
>> 100 : YAMAGUTIseisei 2016/09/22(木) 11:25:57.87 ID:PmVnGSgy
>> 只々不甲斐なく情けない
末梢樹状突起は主要樹状突起よりも細い。これらは樹状突起の木の中の他の樹状突起の枝に
接続されていて、細胞体に直接接続されていない。これらの違いにより末梢樹状突起は
ユニークな電気・化学特性を持っている。
末梢樹状突起で一つのシナプスがアクティブになっても、細胞体に対して最小限の影響しか ry
。シナプスで局所的に発生した脱分極は、それが細胞体に届くときには弱くなっている。
このことは長年のなぞであった。
ニューロンのシナプスの大多数を占める末梢のシナプスはあまり多くのことを ry
今では末梢樹状突起の各断片が半独立の処理領域として働くことが分かっている。
もしその樹状突起の短い区間内で十分な数のシナプスが同時にアクティブになると、
樹状突起のパルスを生成することができ、
それは細胞体にまで届いて大きな影響を及ぼすことができる。
例えば 40μm 間隔の 20 個のアクティブなシナプスは樹状突起のパルスを生成 ry
従って、末梢樹状突起は域内同時発生事象の検出器 ry
末梢樹状突起上のシナプスは、圧倒的にそのリージョン内の付近の他のセルから形成 ry
画像では上方向に伸びる大きな樹状突起の枝 ry 先端樹状突起66 ry
。ある理論 ry 、この構造によりニューロンは付近にいくつかの末梢樹状突起を形成し、
この付近を通る軸索により容易に接続 ry 。
この解釈によれば、先端樹状突起はセルの延長として働く ry
標準的なニューロンには数千個のシナプスがある。これらの大多数(多分 90%)は
末梢樹状突起にあり、残りは主要樹状突起にあると思われる。
長年に渡って、学習はシナプスの影響度ないし「重み」を強くしたり弱くしたり
することを含む ry
。このような影響は観測されるものの、各シナプスはどこか確率的な様子である。
アクティブになったとき、それが神経伝達物質67を放出することに信頼性がない。
よって脳が ry 各シナプスの重みの精度や忠実度に依存しているはずがない。
さらに今では、シナプス全体が素早く形成されたり切断 ry
。この柔軟性は学習の強力な表現形式であり、素早く知識を獲得 ry
。シナプスは軸索と樹状突起がある距離の範囲内にあるときにだけ形成されうることから、
シナプス「候補」の概念 ry 、学習は主にシナプス候補から有効なシナプスが形成 ry
66 apical dendrite。apical は「頂点の，頂上の」という意味。
67 neurotransmitter
それは、2chには関係ないから、適当に投稿は続ければ良いんじゃないかな？と思う。
その調子で、チンプンカンプンなHTM理論もエクセルシートで説明してもらえないかな？
知能は創造ではない、夢や希望は論理や技術ではない、
リバース
創造は知能ではない？、論理や技術は夢や希望ではない？
> 152 山口青星 2017/01/03(火) 10:26:23.58 ID:igW+0jZp
> > 101 : YAMAGUTIseisei 2016/09/25(日) 10:10:01.00 ID:a7u+8KXH
>> > 385 : YAMAGUTIseisei 2016/09/04(日) 16:55:27.34 ID:yWawFej1
>>> 今回政府にоられて流石にもう後がないとの前提 成立
>>> できるだけ包み隠さず無料公開しての同業者様の飯の種へのご迷惑も平に平にご容赦
>>
>> > 386 : YAMAGUTIseisei 2016/09/04(日) 17:01:11.52 ID:yWawFej1
>>> △ 今回政府にоられて
>>> ○ 今回またしても政府にоられて
>
>> 102 : YAMAGUTIseisei 2016/10/02(日) 14:52:12.45 ID:sozmwdUT
>>もしや単なるお手違いとも
ニューロンの出力
ニューロンの出力は軸索に沿って伝搬するパルス68あるいは「活動電位」である。
軸索はセルから伸びて、ほとんど常に二つに分かれる。
枝の一つは水平に伸びて近くの他のセルと数多く接続する。
他の枝は他の層のセルや脳内の他の場所へと遠く伸びる。
上記のニューロンの画像では軸索は見えない。２本の矢印を追加して軸索を示した。
ry 出力は常にパルスであるが、この解釈には異なる見方ができる。
有力 ry （特に新皮質に関しては）、パルスの発生頻度が重要というもの ry
。よってセルの出力はスカラー値と見なすことができる。
いくつかのニューロンは数個の連続したパルスを短時間に素早く出力する「バースト」反応
を示すことも ry
ry 上記 ry HTM セルの特徴に関連する属性に注目して述べ ry 詳細は無視 ry
ここで述べたすべての特徴が幅広く受け入れられているとは必ずしも言えない。
ry 、我々のモデルにとって必要 ry
単純な人工ニューロン
この付録の最初に示した中央の図は、多くの古典的な ry に模した構成要素 ry
これらの人工ニューロンはシナプスの集合を持ち、各シナプスはウェイトを持っている。
各シナプスはスカラー値のアクティブ化を受け取り、それにシナプスのウェイトが掛け合 ry
。すべてのシナプスの出力は非線形の方法で足し合わされ、人工ニューロンの出力となる。
学習はシナプスのウェイトを調整 ry 恐らく非線形の関数 ry
。このタイプの人工ニューロン、そしてそのバリエーションは、
コンピュータ ry アプリケーションにおいて有益 ry しかし ry 多くの複雑さを捉えておらず ry
能力を活用していない。 ry もっと精巧なニューロンモデルが必要 ry
68 spike。短時間の尖った波形のこと。pulse とは少し違うが、パルスと訳した。
多少不備があろうと追加枠臨時創設をしてでも国策として推進
とのご方針 ?
HTM セル
図の右側は、HTM 大脳皮質性学習アルゴリズムで用いられているセル ry
HTM セルは実物のニューロンの多くの重要な能力を捉えているが ry 単純化も ry
主要樹状突起
各 HTM セルは単一の主要樹状突起を持つ。セルへのすべてのフィード・フォワード入力
はシナプス（緑色の点で示した）経由で入力される。アクティブなシナプスの効果は
線形に加算され、フィード・フォワード入力によるセルのアクティブ化を生み出す。
我々は、カラム内のすべてのセルが同じフィード・フォワード応答を持つよう求めている。
実物のニューロンではこれは恐らく抑制タイプのセルによって行われる。
HTMでは我々は単にカラム中のすべてのセルが単一の主要樹状突起を共有するように強制 ry
隣のセルとの競合に決して勝つことができない ry 避けるため、 ry
隣と比較して十分に勝利していないときには、そのフィード・フォワード入力
によるアクティブ化をブーストする。よってセル間には常に競合 ry
我々はこれをセル間ではなくカラム間の競合として HTM でモデル化 ry 図では示されていない。
最後に、主要樹状突起はリージョンへのすべての入力の部分集合となるシナプス候補の集合を
一つ持っている。セルが学習すると、その主要樹状突起上のすべてのシナプス候補の
「永続」値を増加ないし減少させる。しきい値を超えたシナプス候補だけが有効となる。
ry 候補 ry 生物学 ry シナプスを形成するのに十分に近くにある軸索と樹状突起 ry
拡張して、HTM セルで接続する可能性のある、より大きな集合を意味する ry
。生体ニューロンの樹状突起と軸索は学習によって成長したり縮退 ry
よってシナプス候補の集合は成長に伴って変化する。
HTM セルのシナプス候補の集合を大きめにすることで、我々は概ね、
軸索や樹状突起の成長と同じ結果を得た。
シナプス候補の集合は図示されていない。
の組み合わせにより、HTM ry ンは脳に見られるのと同様の強力な可塑性を得た。
HTM リージョンは入力の変化に応じて各カラムが何を表す
http://raou.jp/
ラ王への道 toritatenin 岩間好一 aiueo700 監視カメラ 110番 ウィルス 公明党
ラ王への道 江南署 集団ストーカー クレーマー 悪質 卒論コピペ ランサムウェア
ラ王への道 クレーム 馬鹿舌 味音痴 味覚障害 嫌われ者 ワンクリック詐欺 共産党
ラ王への道 長谷川亮太 チンフェ ちばけんま クズ けん まくん 創価学会
ラ王への道 森園祐一 生活保護 ドールオタビッコマン 涼子P ナマポ 苦情
ラ王への道 岡尚大 色盲絵師 三村侑意 アフィリエイト ヘーボ 広告 マルウェア
その上で昨年度は審査員様ご一任状況にしてご関知なさらず ?
のかを（主要樹状突起上のシナプスの変更によって）自動的に調整し、
カラム数の増加ないし減少を自動的に調整 ry
末梢樹状突起
各 HTM セルは末梢樹状突起セグメントのリストを管理している。
各セグメントはしきい値検出器として働く。
ry アクティブなシナプス（冒頭の図で青い点で示した）の数がしきい値を超えると、
そのセグメントはアクティブになり、それに接続されたセルが予測状態になる。
セルの予測状態はアクティブなセグメントの OR ry
樹状突起セグメントは、以前のある時点で互いに同時にアクティブになった複数のセル
への接続を形成することでリージョンの状態を記憶する。そのセグメントは、
以前にフィード・フォワード入力によってアクティブになったセルの状態を記憶する。
よってそのセグメントはセルがアクティブになることを予測する状態を探す。
樹状突起セグメントの標準的なしきい値は 15 である。
ry 有効なシナプスが 15 個同時にアクティブになると、その樹状突起はアクティブになる。
数百から数千個の周囲のセルがアクティブになるかも知れないが、
15 個の接続だけで十分により大きなパターンを理解 ry
各末梢樹状突起セグメントはそれに関連付けられたシナプス候補の集合を持つ。
そのシナプス候補の集合はリージョン内のすべてのセルの部分集合である。
そのセグメントが学習 ry 、それらすべてのシナプス候補の永続値を増加ないし減少 ry
。しきい値を超えたシナプス候補だけが有効 ry
他のある実装では、訓練を通じてセグメントを追加ないし削除するようにした。
ry 。セルあたりの樹状突起セグメントの数を固定にすると、
同じセグメントに対していくつかの異なるシナプスの集合を保存することができる。
例えば、セグメント上に 20 個の有効なシナプスがあり、しきい値が 15 とする。
（一般に ry ノイズへの耐性 ry しきい値をシナプスの数よりも少 ry ）
これでそのセグメントは周囲のセルの特定の一つの状態を理解できるようになる。
もし周囲のセルのまったく異なる状態を表現する、20 個の他のシナプスを
その同じセグメントに追加 ry するとそのセグメントは、
あるパターンの 8 個のアクティブなシナプスと他のパターンの 7 個のアクティブなシナプスを
持つことで間違ってアクティブになるかも知れないので、エラーが起こる可能性 ry
。我々は実験的に、20 個の異なるパターンまでならエラーなしで一つのセグメントに保存 ry
従って十数個の樹状突起セグメントを持つ HTM セルは多くの異なる予測に関与 ry
シナプス
HTM セルのシナプスは二値の重みを持つ。ry
重みをスカラー値にすることを妨げるものは何もないが、
疎分散パターンを用い ry 今のところスカラー値の重みを使う必要性がない。
しかし ry セルは「永続値」というスカラー値を ry 学習を通じて調整する。
永続値 0.0 は有効でないシナプス候補を表し、 ry しきい値（標準的には 0.2）
を超える永続値は接続したばかりで容易に切断するシナプスを表す。
高い永続値、例えば 0.9 は、接続状態でしかも容易には切断しない ry
HTM セルの主要樹状突起セグメントや末梢樹状 ry にある有効なシナプス
の数は固定ではない。それはセルがパターンに触れるに従って変化する。
例えば、末梢樹状突起の有効なシナプスの数はデータの時間的構造に依存する。
リージョンへの入力に時間的に永続的なパターンが何もないときは、
末梢セグメントのすべてのシナプスは低い永続値を持ち、
わずかな数のシナプスだけが有効になるだろう。
入力列にたくさんの時間的構造があるときは、高い永続値を持つ有効なシナプスが多数 ry
HTM セルは 2 つの異なる二値出力を持つ： 1) セルがフィード・フォワード入力によって
（主要樹状突起経由で）アクティブである、2) セルが横方向の接続により
（末梢樹状突起経由で）アク ry 。前者を「アクティブ状態」と呼び、後者を「予測状態」 ry
冒頭の図では、この 2 つの出力は瑞ｳ方形の細胞体ｂｩら出ている 2 つの線で表されている。
左側の線はフィード・フォワードによるアクティブ状態、右側の線は予測状態である。
フィード・フォワードによるアクティブ状態だけがリージョン内の他のセルに接続され、
これにより予測は常に現在の入力（及び文脈）に基づいて行われる。
予測に基づいて予測が行われることは望ましくない。 ry
そうなると、数回処理を繰り返しただけでリージョン内のほとんどすべてのセルが予測状態 ry
リージョンの出力はすべてのセルの状態を表すベクトルである。
もし階層構造の次のリージョンがあるなら、このベクトルがその入力となる。
この出力はアクティブ状態と予測状態の OR である。
アクティブ状態と予測状態を結合する ry 出力は入力よりも安定する（ゆっくりと変化する）。
このような安定性はリージョンの推論における重要な特性である。
参考文献
ry 。ニューロサイエンス ry 膨大で、全般的知識を得るには多くの異なる文献 ry
。新しい発見は学術ジャーナル ry 、読み解くのが難しく大学関係者でない限り ry
この付録で ry 2 冊 ry
Stuart, Greg, Spruston, Nelson, Hausser, Michael, Dendrites, second edition
(New York: Oxford University Press, 2008)
この本は樹状突起に関するあらゆる ry
16 章では HTM 大脳皮質性学習アルゴリズムが用いている樹状突起セグメントの
非線形な性質 ry この章は、この分野で数多くの考察をした Bartlett Mel によって書 ry
Mountcastle, Vernon B. Perceptual Neuroscience: The Cerebral Cortex
(Cambridge, Mass.: Harvard University Press, 1998)
この本は新皮質に関するあらゆることに関する良い入門 ry 細胞の種類とその接続関係 ry
樹状突起の性質 ry 得るには古 ry 、読者は皮質性ニューロンに関するすぐれた見識 ry
付録 B: 新皮質の層と HTM リージョンの比較
ここでは HTM リージョンと生体新皮質のリージョンの間の関係 ry
特に、HTM 大脳皮質性学習アルゴリズム、
及びそのカラムとセルが、新皮質の層やカラム構造とどのような関係 ry
。新皮質の「層」の概念やそれが HTM の層とどう関係 ry 、多くの人が困惑 ry
。本稿がこの混乱を解決し、また HTM 大脳皮質性学習アルゴリズムの生物学的基礎 ry
新皮質の神経回路網
人の新皮質は面積約 1,000cm2、厚さ 2mm のニューロンの皮である。
ry 食事に使うナプキンの布 ry 、新皮質の面積と厚さのちょうど良い近似 ry
。新皮質は十数種類の機能的なリージョン ry
、そのいくつかは視覚に関係し、あるいは聴覚、言語などに ry
。顕微鏡で見ると、異なるリージョンの物理的な特徴は驚くほど良く似ている。
新皮質全体を通じて各リージョンには器官原理69がいくつか見られる。
69 organizing principles。生体器官の働きの原理的しくみ。
"働きの原理"が詳しく知りたい。
https://jp.sputniknews.com/world/201708013947295/
Page 66
層
新皮質は一般に 6 つの層を持つと言われている。
それらの層のうち 5 つはセルを持ち、1 つの層はほとんどが接続線である。
層は染色技術の出現と共に 100 年以上前に発見された。
上記の画像（Cajal による）は 3 種類の異なる染色法を用いて新皮質の小さな断片 ry
垂直方向の軸索は約 2mm の新皮質の厚さ全体に及んでいる。
画像の左側は 6 つの層 ry 最上部の第 1 層はセルがない層である。
最下部の「WM」は白質が始まるところを示しており、
セルからの軸索はそこから新皮質の他の部分や脳の他の部分へと伸びている。
画像の右側は髄鞘を持つ軸索だけを示す染色法である。（髄鞘形成70とは
一部の軸索を覆っている脂肪質の鞘71である。ただしすべての軸索 ry ではない）
この部分の画像から新皮質の 2 つの主要な器官原理である、層とカラムを見 ry
。多くの軸索はニューロンの本体から出た直後
70 myelination。ずいしょうけいせい。ミエリン化。
71 sheath。さや。
に 2 つに枝分かれする。枝の一つは主に水平に伸び、他の枝は主に垂直 ry
。水平の方の枝は同じ層や近くの層の他のセルと多数の接続 ry
。 ry 新皮質の断片 ry
。多くの軸索がこの画像で示された部分から出たり入ったりしているので、
軸索は画像に見られるものよりも長い。
新皮質の 1mm の立方体に含まれる軸索や樹状突起の総延長は 2km から 4km ry
画像の中央部はニューロンの本体だけを示す染色法で、樹状突起や軸索は見えない。
ニューロンの大きさや密度が層によって変化する様子 ry
。この画像ではカラムは少ししか分からない。第 1 層にいくつかのニューロン ry
の数はあまりに少ないので、この層はやはりセルのない層 ry
。ニューロ科学者は新皮質の 1mm の立方体ごとに約100,000 個程度のニューロン ry
画像の左側はほんのわずかな数のニューロンの本体、軸索、樹状突起だけを示す染色法 ry
。異なる層や異なるセルごとに、樹状突起の「主軸」の大きさは異なっている様子 ry
。いくつかの「先端樹状突起」72 ry は細胞体からそびえ立ち、他の層と接続 ry
。先端樹状突起が存在するか否か、及びその接続先は各層ごとに特徴 ry
まとめると、新皮質の層とカラム構造73は ry 染色され顕微鏡で観察 ry 明らか ry
新皮質のリージョンの違いによって層の厚さにバリエ ry 、層の数についても多少違う。
このバリエーションはどの動物を研究するかに依存し、
どのリージョンを観察するかにも依存し、また観察した人によっても違う。
例えば上記の画像では、第 2 層と第 3 層は容易に識別できるが一般的にはそうではない。
いくつかの科学者 ry この 2 つの層を識別できないと報告 ry まとめて「第 2/3 層」 ry
。他の科学者は逆の方向に向かい、例えば 3A と 3B のようなサブレイヤを定義 ry
第 4 層は、新皮質のリージョンの中で感覚器官にもっとも近い部分で最もよく定義されている。
いくつかの動物（例えばヒトやサル）では、第 1 視覚野の第 4 層は明確に細分化 ry
。他の動物ではそれは細分化されていない。
第 4 層は感覚器官から遠いリージョンでは階層構造から消えて無くなっている。
72 apical dendrite
73 columnar organization。一般には柱状構造。他と統一するためカラム構造とした。
カラム
新皮質の 2 つ目の主要な器官原理はカラムである。
いくつかのカラム構造は染色された画像にも見られるが、カラムに関する多くの証拠は
異なる入力に対してセルがどのように反応するかに基づいている。
科学者が針を使って、何がニューロンをアクティブにするのかを見てみると、
異なる層を横断する垂直方向に揃った複数のニューロンがだいたい同じ入力に反応 ry
この図は、網膜からの情報を処理する最初の皮質性リージョンである V1 の、
セルのいくつかの応答特性 ry
最初の発見の一つは、V1 のほとんどのセルは
網膜の特定の領域で、異なる角度の線や縁に反応 ry
。カラム状に垂直に配列された複数のセルすべてが、同じ角度の縁に反応する。
図を注意深く見れば、各区画の最上部に異なる角度の小さな線が描かれている ry
。これらの線はその場所のセルがどの角度の線に反応するかを示している。
垂直に配列された複数のセル（うすい垂直の縞模様の一つに含まれる）は
同じ角度の線に反応する。
V1 にはいくつかの他のカラム型の特徴があり、そのうちの 2 つが図示されている。
左目と右目の情報の似た組み合わせにセルが反応する「眼球優位性カラム」74がある。
74 ocular dominance column。片方の眼からの入力に強く反応するセルの集まり。
そしてセルが主に色を感知する「ブロブ」75がある。
眼球優位性カラムは図の大きなブロックである。各眼球優位性カラムは角度のカラムを含む。
「ブロブ」は濃い色の楕円である。
新皮質の一般的な規則は、角度と眼球優位性のようにいくつかの異なる応答特性が
互いに重ね合わさっているということである。皮質の表面を水平に移動してゆくに従って、
セルから出力される応答特性の組み合わせは変化する。
しかしながら、垂直に配列されたニューロンは同じ応答特性の組み合わせを共有している。
聴覚・視覚・体性感覚野についてはこのような垂直の配列になっている。
新皮質のあらゆる場所でそう ry 、全部ではなく多くの部分について言うならそれは正しい ry
ミニカラム
新皮質の最小のカラム構造はミニカラムである。ミニカラムは直径約 30μm で、
セルを持つ 5 つの層全体に及ぶ 80-100 個のニューロンが含まれている。
新皮質全体はミニカラムから構成されている。小さなスパゲッティのかけらを端同士を
積み重ねたものを思い浮かべるとよい。ミニカラムの間には
セルが少ししかないわずかなすきま ry 、染色された画像でそれを見 ry
左側は新皮質の一部の断片に見られるニューロンの細胞体を示す染色画像である。
ミニカラムの垂直の構造がこの画像から明白に分かる。
右側はミニカラムの概念図である（Peters と Yilmez による）。
実際にはこれよりずっと細い。カラムの中の各層に複
75 blob。小塊、小球体。
数のニューロンがあることに注意してほしい。
ミニカラムのすべてのニューロンが類似の入力に反応する。
例えば、先ほど示した V1 の図では、ミニカラムは特定の眼球優位性を伴い、
特定の角度の線に反応するセルを含んでいる。隣にあるミニカラムのセルは
少し違う角度の線に反応し、違う眼球優位性を示すのかも知れない。
抑制ニューロンがミニカラムを定義する本質的な役割を果たしている。
ry 画像や図に示されていないが、抑制ニューロンはミニカラムの間のまっすぐな線に沿って
軸索を送っており、ミニカラムの一部を物理的に分離している。抑制ニューロンはまた、
ミニカラム中のニューロンが同じ入力に反応するよう強制することに役立っていると ry
ミニカラムは HTM 大脳皮質性学習アルゴリズムで用いられているカラムの原型である。
カラム反応の例外
カラム反応の例外が一つあって、それは HTM 大脳皮質性学習アルゴリズムにも関係する。
科学者は通常、実験動物に単純な刺激を与えることでセルが何に反応するのかを発見する。
例えば、動物の視覚空間の小さな部分に 1 つの線を見せて、V1 のセルの応答特性を調べ ry
。単純な入力を用いると、科学者はセルが常に同じ入力に反応することを発見するかも ry
。しかしながら、もしその単純な入力が自然な場面の動画像に組み込まれたなら、
セルはもっと選択的になる。あるセルが高い信頼性で独立した垂線に反応するとしても、
その垂線が自然な場面の複雑な動画像に組み込まれた場合は必ずしも反応するとは ry
カラム中のすべての HTM セルが同じフィード・フォワード応答特性を共有しているが、
時間的なシーケンスを学習すると HTM カラムの 1 つのセルだけがアクティブになる。
このメカニズムは可変長シーケンスを表現する手段であり、
ニューロンについて先ほど説明した特徴と似ている。
文脈を伴わない単純な入力はカラム中のすべてのセルをアクティブにする。
同じ入力でも、学習したシーケンスに含まれるときは 1 つのセルだけがアクティブになる。
ミニカラム中で一度に 1 つのニューロンだけがアクティブになると提唱しているわけではない。
HTM ry 、予期しない入力に対してはカラム中のある層のすべてのニューロンがアクティブ ry
、予期した入力に対してはその一部のニューロンがアクティブ ry
なぜ層とカラムがあるのか？
新皮質になぜ層があり、なぜカラムがあるのか、はっきりしたことは誰も知らない。
HTM 大脳皮質性学習アルゴリズムは、カラム状に構成したセルの層が
可変長の状態遷移を記憶する大容量メモリとなりうることを示した。
もっと単純に言えば、セルの層はたくさんのシーケンスを学習できる ry
。同じフィード・フォワード反応を共有するセルのカラムは可変長の遷移を学習 ry の鍵 ry
この仮説はなぜカラムが必要なのかを説明しているが、しかし 5 つの層については ry ？
もし 1 層の皮質でシーケンスを学習して予測できるのであれば、なぜ ry 5 つ ry ？
我々が提唱するのは、新皮質に観察される異なる層はすべて同じ基本メカニズムを用いて
シーケンスを学習しているが、各層で学習したシーケンスは異なる方法で使用 ry
。これについて我々が理解していないことはたくさん ry 考えを述べることはできる。
その前に、各層のニューロンが何に接続しているのかを述べる ry
上の図は 2 つの新皮質のリージョンとそれらの間の主要な接続関係 ry
このような接続は新皮質の中の互いに関係し合う 2 つのリージョンで一般によく見 ry
。左の箱は、右の（箱の）リージョンよりも低い階層構造にある皮質性のリージョン
を表しているので、フィード・フォワード情報は図の左から右へと流れる。
各リージョンは層に分け ry 2 層と第 3 層は一緒にして第 2/3 層として表されている。
色のついた線は異なる層からのニューロンの出力 ry
その層のニューロンから出ている軸索の束である。軸索はすぐに 2 つに分か ry
一つの枝は主にそれと同じ層の中で、リージョン内で水平方向に広がる。
よって各層のすべてのセルは相互によく接続し合っている。
ニューロンと水平方向の接続は図に示されていない。
2 つのフィード・フォワード・パス76がある。オレンジ色で示した直接パスと、
緑色で示した間接パスである。第 4 層は主要なフィード・フォワード入力層で、
両方 ry から入力を受け取る。第 4 層は第 3 層に向かう。
第 3 層は直接フィード・フォワード・パスの始点でもある。
よって、直接フィード・フォワード・パスは第 4 層と第 3 層に限定 ry
いくつかのフィード・フォワード接続は第 4 層を飛ばして直接第 3 層に至る。
そして、上記で述べたように、第 4 層はセンサ入力から遠くにあるリージョンでは
消えて無くなっている。
そこでは直接フォワード・パスは単に第 3 層から次のリージョンの第 3層に繋 ry
2 つめのフィード・フォワード・パス（緑色で示した）は第 5 層から始まる。
第 3層のセルは次のリージョンに至る道筋の中で第 5 層へと接続している。
皮質性の皮から出発した後、第 5 層のセルからの軸索は再び枝分かれする。
1 つの枝は運動の生成に関わる脳内の皮質下部77へと向かう。
これらの軸索は運動指令（下方向の矢印で示した）であると信じられている。
他の枝は脳内の視床78と呼ばれる門として働く部分へと向かう。
視床は次のリージョンに情報を通したり止めたりする。
最後に、黄色で示した主要フィードバック・パスが第 6 層から第 1 層に向かっている。
第 2, 3, 5 層のセルは先端樹状突起（図に示されていない）を経由して第 1 層に向か ry
。第 6 層は第 5 層から入力を受け取る。
異なる層が何をするのかに関する仮説
我々は第 3, 4, 5 層がすべてフィード・フォワード層でありシーケンスを学習していると ry
。第 4 層は一次シーケンスを学習する。第 3 層は可変長シーケンスを学習
76 pathway。通り道。
77 sub-cortical area。大脳皮質の下の神経中枢。
78 thalamus。ししょう。
する。第 5 層はタイミングを含む可変長シーケンスを学習する。 ry
第4層
HTM 大脳皮質性学習アルゴリズムを用いて一次シーケンスを学習するのは容易である。
もしカラム中のセルが互いに抑制するように強制しなかったとしたら、
つまりカラム中のセルが以前の入力の文脈を区別しなかったとしたら、一次学習が起こる。
新皮質では、同じカラム内のセルを抑制する効果を取り除くことで成されるだろう。
ry HTM ry では、単にカラムごとに1 つのセルを割り当てることで同様の結果を生む。
一次シーケンスは入力の空間的変形79を表す不変表現80を作る上で必要 ry
例えば視覚では、x-y 変換、縮尺、回転はすべて空間的変形である。
移動する物体について、一次の記憶を持つ HTM リージョンを訓練すると、
異なる空間的パターンが同等であることを学習する。
結果の HTM セルは「複雑型細胞」と呼ばれるもののように振舞う。
その HTM セルはある範囲の空間的変形に対してアクティブな状態（予測状態）を保つ。
Numenta では、視覚についてこのメカニズム ry 実験を行い、
いくつかの空間的不変性が各レベルで達成 ry 。
第 4 層で一次シーケンスを学習していることは、第 4 層で複雑型細胞が見られることや、
なぜ新皮質の高階層のリージョンで第 4 層が消えて無くなるのかということと符合している。
階層構造を上がるにつれて、その時点での表現はすでに不変のものになっているため
それ以上空間的不変性を学習することはできなくなる。
第 3 層は第 2 章で述べた HTM 大脳皮質性学習アルゴリズムに最も近い。
それは可変シーケンスを学習し、予測を行い、その予測は入力よりも安定している。
第 3 層は常に階層構造の次のリージョンに向かい、そのため ry 時間的安定性 ry 増 ry
。可変シーケンス記憶は「方位選択性複雑型細胞」81と呼ばれるニューロンに形成され、
それは第 3 層で最初に観察された。
方位選択性複雑型細胞は例えば左に動いている線と右に動いている線など、
時間的文脈による識別をする。
79 spatial transformation
80 invariant representation
81 directionally-tuned complex cell
第5層
最後のフィード・フォワード層 ry 3 層と似ているが 3 つの違い ry
。第一の違いは第 5 層が時間の概念を付加 ry
。第 3 層は次に「何」が起こるかを予測するが、それが「いつ」起こるかを教えてくれない。
しかしながら、話し言葉 ry 音の間の相対的なタイミングが重要 ry
運動動作 ry 筋肉の活性化のタイミング ry
。我々は、第 5 層のニューロンが期待した時刻の後にだけ次の状態を予測すると提唱する。
この仮説を裏付ける生物学上の詳細がいくつかある。一つは第 5 層が新皮質の運動出力層 ry
。いま一つは第 5 層が視床の一部から発して第 1 層から来る入力（図に示されていない）
を受け取るということである。我々はまた、この情報こそが時間をコード化したものであり、
視床を経由して第 1 層に入力される多くのセル（図に示されていない）
にこの情報が分散されると提唱する。
ry の第二の違いは第 3 層が可能な限り未来を予測して
時間的安定性をもたらすことが望ましいということである。
第 2 章で述べた HTM 大脳皮質性学習アルゴリズムはこれを行う。
対照的に、第 5 層については次の項目（ある特定の時点の）を予測することしか求めていない。
我々はこの違いをモデル化していないが、
遷移が常に時間を伴って保存されるならそれは自然に起こる。
ry 第三の違いは図から見て取れる。
第 5 層の出力は常に皮質下部の運動中枢に向かい、
そのフィード・フォワード・パスは視床の門を通る。
第 5 層の出力は、あるときは次のリージョンへと通過し、またあるときは止められる。
我々（及び他の人）はこの門の働きが潜在的注意82に関係すると提唱する
（潜在的注意は運動行動を伴わずに貴方が入力に注目することである）。
これらが互いにどのように関わりあうかについては多くの謎 ry 。
ry ポイントは、HTM 大脳皮質性学習アルゴリズムのバリエーションが
特定のタイミングを容易に組み入れることができ、別々の皮質の層を結合することができる ry
第2層と第6層
第 6 層は下位のリージョンへフィードバックする軸索の起点である。
第 2 層についてはほとんど知られていない。 ry 2 層が第 3 層と比べて
ユニークな点があるかどうかですら、しばしば議論 ry
いまのところ ry 言えることはほとんどないが、他のすべての層と同様に ry
層はたくさんの水平方向の接続パターンを持ち、カラム単位で反応する特徴があること
82 covert attention
だけは指摘することができる。よって我々はこれらもまた、
HTM 大脳皮質性学習アルゴリズムの一形態を実行していると提唱する。
HTM リージョンは新皮質の何に相当するか？
我々は 2 種 ry 実装した。
一方は可変長記憶のためにカラムごとに複数のセルを持たせるもので、
他方は一次記憶のためにカラムごとに単一のセルを持たせるものである。
我々はこの 2 種類が新皮質の第 3 層と第 4 層に相当 ry
。これら 2 種類を単一の HTM リージョンに結合することを我々はまだ試みていない。
HTM 大脳皮質性学習アルゴリズム（カラムごとに複数のセルを持つ）が
新皮質の第 3 層に最も近いものの、我々のモデルは脳にもない柔軟性 ry
新皮質のどの層にも相当しない複合型のセルを持つ層を創ることができる。
例えば、我々のモデルでは樹状突起セグメント上でシナプスが形成される順序が分かる。
我々はこの情報を使って、将来起こることのすべてをより一般的に予測した上で
次に何が起こるかを予測 ry 。我々は多分、同様にしてタイミング特有のことを追加 ry
。従って単一の層の HTM リージョンに第 3 層と第 5 層の機能を結合したものを作 ry
まとめ
HTM 大脳皮質性学習アルゴリズムは我々が新皮質の神経器官の基本構成要素
と信じているものを具現化するものである。それは水平接続されたニューロンの層が
どのようにして疎分散表現のシーケンスを学習するのかを示している。
HTM 大脳皮質性学習アルゴリズムの各バリエーションが、
互いに関連するが異なる目的を持つ、新皮質の異なる層で使われる。
我々は新皮質リージョンへのフィード・フォワード入力は、
第 4 層であれ第 3 層であれ、主要樹状突起に主に入力されると提唱する。
それは抑制セルの働きにより、入力の疎分散表現を作成する。
我々はまた、第 2, 3, 4, 5, 6 層のセルがこの疎分散表現を共有していると提唱する。
このことは、それらの層をまたがるカラム中のすべてのセルが
同じフィード・フォワード入力に反応するように強制することによって達成される。
ry 4 層のセルが、もしそれが存在するなら、HTM 大脳皮質性学習アルゴリズムを用いて
一次の時間的遷移を学習する ry 。これは空間的遷移に対して不変の表現を構成する。
第 3 層のセルは HTM 大脳皮質性学習アルゴリズムを用いて可変長の時間的遷移を学習し、
皮質の階層を上っていって安定した表現を構成する。
第 5 層のセルはタイミングを伴う可変長の遷移を学習する。
第 2 層と第 6 層については特に提唱
Page 76
するものはない。しかしながら、これらの層でよく見られる水平接続を考えると、
何らかの形でシーケンス記憶を学習 ry
Page 77
用語の説明
ノート： ry 、一般的な意味とは異なるものもある。
説明文中で大文字で示されたもの83は、この用語説明で説明されていることを示す。
アクティブ状態
（Active State）
フィード・フォワード（Feed-Forward）入力によってセル（Cells）がアクティブになった状態
ボトムアップ
（Bottom-Up）84
フィード・フォワード（Feed-Forward）と同義語
セル
（Cells）
HTMにおいて、ニューロン（Neuron）に対応するもの。
セル（Cells）はHTMのリージョンにおいてカラムを構成する。
同時発生アクティビティ
（Coincident Activity）
同時に2個又はそれ以上のセルがアクティブになること
カラム
（Column）
１個又はそれ以上のセルのグループで、HTMリージョンの中で1単位として機能するもの。
カラム中のセルは、同じフィード・フォワード入力の異なる文脈を表現する。
樹状突起セグメント
（DendriteSegment）
シナプスが集約した単位で、セルやカラムに結び付けられる。
HTMには二つの異なるタイプの樹状突起セグメントがある。
一つは、あるセルの横方向の接続に結び付けられる。
樹状突起セグメントのアクティブなシナプスの数がしきい値を超えると、
結び付けられたセルが予測状態になる。
もう一方は、あるカラムのフィード・フォワード接続に結び付けられる。
あるカラムのアクティブなシナプスの数がしきい値を超えると、
フィード・フォワードによるアクティブ状態になる。
83 用語説明では、例えば Cell の場合「セル（Cell）」のように示した。
84 原文では Bottom-Up と Feed-Forward ry 、同様の意味 ry 「フィード・フォワード」と訳 ry
Page 78
望ましい密度
（Desired Density）
リージョン（ Region ）へのフィード・フォワード（Feed-Forward）入力によって
アクティブになるカラム（Column）の望ましいパーセンテージ。
このパーセンテージは、フィード・フォワード入力のファンアウト85に依存して変化
する半径86内にのみ適用される。パーセンテージは個別の入力に応じて変化するものなので
ここでは「望ましい」と呼んでいる。
フィード・フォワード
（Feed-Forward）
階層構造（Hierarchy）の中で、入力が低いレベル（Level）から高いレベル（Level）
に向かって移動すること（しばしば、Bottom-Upと呼ぶ）
フィードバック
（Feedback）
ry 、高いレベル（Level）から低 ry に向かって移動 ry （しばしば、Top-Downと呼ぶ）
一次予測
（First Order Prediction）
過去の入力には無関係に、 ry 予測 ry 。可変長予測（Variable Order Prediction）参照。
HTM
（Hierarchical Temporal Memory）
新皮質の構造的・アルゴリズム的機能のいくつかを模写する技術
階層構造
（Hierarchy）
要素間の接続がフィード・フォワード（Feed-Forward）ないし
フィードバック（Feedback）によってユニークに識別されるネットワーク
HTM大脳皮質性学習アルゴリズム
（HTM Cortical Learning Algorithms）
空間プーリング（Spatial Pooling）、時間プーリング（Temporal Pooling）、
学習と忘却を行う関数一式。HTMリージョン（HTM Region）を構成する。
またの名をHTM学習アルゴリズム（HTM Learning Algorithms）と言う。
HTMネットワーク
（HTM Network）
HTMリージョン（HTM Region）の階層構造（Hierarchy）
HTMリージョン
（HTM Region）
HTMにおいて、記憶と予測（Prediction）を行う主要構成要素。
ry 、カラムの中に配置された高度に相互接続された層からなる。
現状 ry 一層のセルからなるが、
新皮質では（そして完璧なHTMでは）リージョンは複数のセルの層からなる。
階層構造の中の位置という文脈 ry 、リージョンはレベルと呼ばれることがある。
85 fan-out。広がり具合
86 radius
Page 79
推論
（Inference）
空間的ないし時間的入力パターンが、以前に学習したパターンと似ていると認識すること
抑制半径
（InhibitionRadius）
カラム（Column）の周囲の領域で、その範囲でアクティブなカラムが抑制をする ry
横方向の接続
（Lateral Connections）
同じリージョン内でのセル（Cells）間の接続関係
レベル
（Level）
階層構造（Hierarchy）の中の HTMリージョン（HTM Region）
ニューロン
（Neuron）
脳内で情報処理を行うセル（Cells）。
本書では、特に生物学的な意味でセルを示すときにニューロンという用語を用い、
単にセルと表記したときはHTMの計算単位を意味する。
永続値
（Permanence）
シナプス候補（Potential Synapse）の接続状態を表すスカラー値。
永続値がしきい値を下回るときシナプスは形成されていないことを表す。
ry しきい値を超えていたら、そのシナプスは有効である。
HTMリージョン（HTM Region）の学習は
シナプス候補（Potential Synapse）の永続値を変更すること ry
シナプス候補
（Potential Synapse）
ある樹状突起セグメント（Dendrite Segment）でシナプスを形成する可能性があるセル（Cells）
の部分集合。ある時刻においては、シナプス候補の一部分だけが、有効なシナプスとなる。
有効なシナプスは永続値に基づいて決まる。
予測
（Prediction）
フィード・フォワード（Feed-Forward）入力によって、
セル（Cells）が近い将来アクティブになるであろうということを、
（予測状態の）アクティブ化によって示すこと。
HTMリージョン（HTM Region）はしばしば、将来起こりうる入力を同時に多数予測する。
受容野
（Receptive Field）
カラム（Column）ないしセル（Cells）が接続されている入力の集合。
HTMリージョン（HTM Region）への入力がビットの2D配列で構成されているとき、
受容野は入力空間内のある半径範囲で表現することができる。
センサー
（Sensor）
HTMネットワーク（HTM Network）への入力源
疎分散表現
（Sparse Distributed Representation）
多くのビットで構成され、 ry わずかなパーセンテージだけがアクティブであり、
単一のビットだけでは意味を表現するには不十分であるような表現。
yamaguti~貸し多大
Page 80
空間プーリング
（Spatial Pooling）
入力に対して疎分散表現を計算する処理。空間プーリングの一つの特徴は、
オーバラップする入力パターンを同じ疎分散表現に対応付けられることである。
サブサンプリング
（Sub-Sampling）
大きなパターンのうちのほんのわずかなアクティブビットをマッチングするだけで、
大きな分散パターンを認識すること
シナプス
（Synapse）
学習によって形成されるセル（Cells）間の接続
時間プーリング
（Temporal Pooling）
入力パターンのシーケンスの表現を計算する処理。結果の表現は入力よりも安定 ry
トップダウン
（Top-Down）
フィードバック（Feedback）の同義語
可変長予測
（Variable Order Prediction）
それが依存する直前の文脈の量が変化するような予測。一次予測（First Order Prediction）参照。
直前の文脈を維持管理するためのメモリを必要に応じて割り当てるため、「可変長」と呼ばれる。
そのため ry 、指数関数的 ry メモリ ry なく、文脈を時間的に後戻りすることができる。
>492 ：オーバーテクナナシー：2017/09/23(土) 19:54:47.75 ID:vY4r2i0B
> 脳の大脳新皮質の学習は100ミリ秒未来の予測と実際との誤差を教師信号として学習される説を提案。
> 視床枕が予測を映し出すスクリーンの役目を担い、α波に従って予測と実際を切り替えその誤差が各領域に伝搬され逆誤差伝搬法と同じ更新がされる
>http://arxiv.org/abs/1709.04654
>http://mobile.twitter.com/hillbig/status/911091101024399362
http://translate.google.jp/
コーネル大学 図書館
定量的生物学>ニューロンと認知
タイトル：深い予測学習：3つのビジュアルストリームの包括的なモデル 著者： Randall C. O'Reilly 、 Dean R. Wyatte 、 John Rohrlich
要旨：新皮質 ry 高次認知能力の基礎を学び、どのように発展 ry ？
レベル間の明確な理論的連続性を持ち、生物学的、計算的、および認知的なレベルにわたる
包括 ry 提示し、各レベルでの広範なデータによって ry 一貫した答えを提供する。
学習は、感覚が100msec（ ry ）間隔 ry 、予測精度 ry シナプスの重みを ry に基づいている。
視床の脊髄核は、複数の脳領域からの深層6大脳皮質の入力および抽象化のレベルによって、
予測 ry 投影スクリーン ry
。層5内因性バーストニュ ry の疎駆動入力は標的信号 ry 予測との間の時間差は皮質全体に反映され、
詳細な生物物理学 ry の局所活性化信号のみを用いて誤差逆伝播に近似するシナプス変化を引き起こすモデル。
ビジョンでは、予測学習には、 ry 、3つの経路（What、Where、W ry e）の ry と解剖学 ry 必要 ry
。低レベルの感覚 ry 予測のために; ry 抽象化の学習を促進する分離可能な因子の抽出 ry ために、
集合的な低レベルの予測誤差を漸進的かつ機敏に分割しなけ ry
モデルは、 ry ムービーから100種類のオブジェクトを体系的に不変なオブジェクト表現で構成し、
幅広いデータを扱い、多くのテスト可能な予測を
コメント： 64ページ、24図、291の参照。 出版のために提出
次のように引用： arXiv:1709.04654 [q-bio.NC] （またはこのバージョンではarXiv：1709.04654v1 [q-bio.NC] ）
投稿者：Randall O'Reilly [ 電子メールを見る ] [v1] Thu, 14 Sep 2017 08:02:37 GMT (6601kb,D)
> 750 オーバーテクナナシー 2017/09/26(火) 15:15:40.52 ID:g8erRGmf
> Intelがクラウドに依存せずチップ単体で自律的に学習していけるAIチップ「Loihi」を開発中 - GIGAZINE
> http://gigazine.net/amp/20170926-intel-loihi
> ほんとぉ？
> 752 オーバーテクナナシー 2017/09/26(火) 15:21:41.28 ID:lqqUzEBp
> Intelがクラウドに依存せずチップ単体で自律的に学習していけるAIチップ「Loihi」を開発中
> http://gigazine.net/news/20170926-intel-loihi/
Google Translate | url = http://newsroom.intel.com/editorials/intels-new-self-learning-chip-promises-accelerate-artificial-intelligence/
> Loihiテストチップの機能は次のとおりです。
>
> * 完全に非同期のニューロモルフィックな多数のコアメッシュ。
> 幅広いスパース、階層、リカレントニューラルネットワークトポロジをサポートし、
> 各ニューロンは何千もの他のニューロンと通信できます。
> * 各ニューロモルフィックコアには、運転 ( 翻訳ミス : チップ稼働 ) 中に
> ネットワークパラメータを適応させるようにプログラムすることができる学習エンジンが含まれ、
> 監督付き、監督なし、強化およびその他の学習パラダイムをサポートします。
> * ry 14nmプロセス ry
> * ry 130,000のニューロンと1億3000万のシナプス。
> * パスプランニング、制約充足、スパースコーディング、辞書学習、動的パターン学習および適応
> を含む問題に対する高いアルゴリズム効率 ry
>167 オーバーテクナナシー 2017/10/09(月) 23:01:57.90 ID:5Ggq/e4S
:
> 再帰型ニューラルネットワーク（RNN）による長期的な学習の困難さを解決する方法として、DilatedRNN というモデルが提案された。
> 再帰の間隔を空けた層を用いることで、勾配消失問題が緩和され、並列計算も容易になる。
>http://arxiv.org/abs/1710.02224
> Title: 拡張リカレントニューラルネットワーク
> 著者： Shiyu Chang , Yang Zhang , Wei Han , Mo Yu , Xiaoxiao Guo , Wei Tan , Xiaodong Cui , Michael Witbrock , Mark Hasegawa-Johnson , Thomas Huang
>
>要約：悪名高いことに、長いシーケンス上の ry （RNN）を用いた学習は難 ry
>。 3つの大きな課題 ry ：1）複雑な依存関係の抽出、2）消滅と爆発の勾配、3）効率的な並列化です。
>本稿では、シンプルで効果的なRNN接続構造であるDILATEDRNNを紹介 ry これらの課題を同時に解決します。
>ry 、多重解像度拡張再帰スキップ接続 ry 、異なるRNNセルと柔軟に組み合 ry
>。さらに、 ry 、パラメータの数を減らし、トレーニングの効率を大幅に向上 ry
>、非常に長期間の依存性を伴うタスクで最先端のパフォーマンス（バニラRNNセル ry ） ry
>。 ry メモリ容量測定値、すなわち平均反復長さを導入する。これは、長いスキップ接続を有するRNNが ry 適し
>
>次のように引用： arXiv:1710.02224 [cs.AI] （またはこのバージョンではarXiv：1710.02224v1 [cs.AI] ）
> [v1] Thu, 5 Oct 2017 21:28:01 GMT (2327kb,D) [v1]
http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#71##72#74#
http://rio2016.2ch.sc/test/read.cgi/future/1481407726/66-75##67-68#71-72# HTM
http://google.jp/search?q=skiplist+hash+array&tbm=isch
http://google.jp/?q=bomberman+password+algorithm+guide+OR+4tanni+OR+comptiq+OR+377221725030600705
http://google.jp/search?q=mpeg1+ipb+4frame+OR+4tanni
ttp://google.jp/?q=algorithm+tereka+jiki+data+OR+4tanni
著作物転載ガイジ
⇒ 『山中のムロロモノス』 というブログで見ることができるらしいです。
グーグル等で検索⇒『山中のムロロモノス』
SB27GME400
アルマジモンは強豪だよ
アルマジモンは強剛だよ
アルマジモンは強靭だよ
アルマジモンは強者だよ
アルマジモンは強大だよ
アルマジモンは強力だよ
アルマジモンは強いよ
アルマジモンの連勝
アルマジモンの戦勝
アルマジモンの制勝
アルマジモンの優勝
アルマジモンの楽勝
アルマジモンの圧勝
アルマジモンの全勝
アルマジモンの完勝
アルマジモンの必勝
アルマジモンの奇勝
アルマジモンの完全勝利
アルマジモンの大勝利
アルマジモンの勝利
アルマジモンの勝ち
ホーキンスはこれを15年以上前に気づいていた。
感覚器官からの入力とは逆向きの入力が、記憶の連想による予測を行っているというホーキンスの理論は正しかった。
ホーキンスはこれを15年以上前に気づいていた。
感覚器官からの入力とは逆向きの入力が、記憶の連想による予測を行っているというホーキンスの理論は正しかった。
推論や想像などの言葉は普遍的な連想パターンで区別しているにすぎない。
これがホーキンス氏が提唱する知能の本質。
>>93
ホーキンス氏は現在、この「シナプスの結合パターン」、
脳の柔軟な認識が可能な記憶の繋がりがどのようにして形成されているのか研究している。
デジモンフロンティアの奇勝
デジモンフロンティアの全勝
デジモンフロンティアの完勝
デジモンフロンティアの必勝
デジモンフロンティアの優勝
デジモンフロンティアの制勝
デジモンフロンティアの戦勝
デジモンフロンティアの楽勝
デジモンフロンティアの圧勝
デジモンフロンティアの完全勝利
デジモンフロンティアの大勝利
デジモンフロンティアの勝利
デジモンフロンティアの勝ち
デジモンフロンティアは強烈だよ
デジモンフロンティアは強豪だよ
デジモンフロンティアは強剛だよ
デジモンフロンティアは強靭だよ
デジモンフロンティアは強者だよ
デジモンフロンティアは強大だよ
デジモンフロンティアは強力だよ
デジモンフロンティアは強いよ
んなコターねぇー、だから、ダメなんだ。
もっとよく考えて見ろ、違うだろ、気づかないのか？
プログラムの動作は演算の組み合わせだ
みたいなことを言うのと同じだと思う。
あたりまえだしだったらあれするには
こう作ればいいにできない。
暇な人は見てみるといいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』
UDKLJ
>>84
>427 オryｰ 0518 1130 MoLfZWhr
>354 オryｰ /0517 1422 z3hpZn2q
> 【IT】IntelのAIチップ「Loihi」、2019年に小型ネズミの頭脳レベルに
> http://egg.2ch.sc/test/read.cgi/bizplus/1526478901/
:
>844 オryｰ 180628 1126 8Ecc/3xB
> DeepMindが偽(既存)のAI特許出願をしている ベン・ゲーツェル[馬鹿馬鹿しい]
> http://multiverseaccordingtoben.blogspot.com/2018/06/google-deep-minds-bogus-ai-patent.html
>851 オryｰ 0628 1246 TPCgic+r
> >844
> やっぱりヌメンタがナンバーワン！
> Google 翻訳
>
> Saturday, June 23, 2018
> 2018年6月23日土曜日
> Google Deep Mind's Bogus AI Patent Filings
> Google Deep Mindの●のAI特許提出
> :
>ry Google Deep Mind has filed a bunch of patent applications for well-known ry , all or nearly all of which certainly are not their original inventions.
>ry 、 Google Deep Mindがよく知られている ry の特許申請 ry 。そのほとんどまたはすべてが確かにオリジナルの発明ではありませ
:
100〜のスレッドの続きを読む