Kinect ハック 2台目
OpenKinect
http://openkinect.org/
■前スレ
Kinect ハック
http://toro.2ch.sc/test/read.cgi/tech/1290795733/
■関連
【Kinect】Xbox360 キネクト総合 Part:30 (DAT落ち)
http://kamome.2ch.sc/test/read.cgi/ghard/1290946411/257
Kinect のオープン利用は容認
http://japanese.engadget.com/2010/11/20/kinect/
Kinectハックで『スーパーマリオブラザーズ』をプレイ（動画）
http://www.youtube.com/watch?v=8CTJL5lUjHg
http://www.kotaku.jp/2010/11/smb_kinect.html
Kinect + HMD Virtual Reality
http://www.youtube.com/watch?v=WDlvn3voblQ
2台のKinect で3Dビデオ撮影、視点変更も自在
http://japanese.engadget.com/2010/11/29/2-kinect-3d/
いまは反省していない
言語訓練のために立てたものです。
アイと研究員とのやり取りに利用するスレッドなので、
関係者以外は書きこまないで下さい。
京都大学霊長類研究所
過疎り具合からして、たぶんカメラとマイクの制御は永遠に実装されない。
https://github.com/OpenKinect/libfreenect/tree/master/wrappers/csharp/
http://www.youtube.com/watch?v=rcrIzCyv50U
kinect first hack
http://www.youtube.com/watch?v=ojrp7VVjnx8
Kinect hack with a ... Sniper Rifle!!!
http://www.youtube.com/watch?v=4yp37U-YHv4
Kinect Hand Detection (MIT凄すぎ)
http://www.youtube.com/watch?v=tlLschoMhuE
Kinect + Orge3D = 凄すぎ
http://www.youtube.com/watch?v=Zl6O-Rf52Co
Kinect のドライバが本家 PrimeSense 社から登場
http://slashdot.jp/hardware/article.pl?sid=10/12/15/0056245
http://www.nicovideo.jp/watch/sm12898511
MMD対応
http://www.youtube.com/watch?v=bQREhd9iT38
MikuMikuDance with OpenNI (Kinect) test
http://www.youtube.com/watch?v=JQvLt7DQhaI
Kinect と深度センサー Qinect
http://www.youtube.com/watch?v=0mEHKFibv0g
Kinect Hack: OpenFrameworksをつかってLineArtしてみた。
http://www.youtube.com/watch?v=I3vZZziTshA
Kinectで光学迷彩を作ってみた
http://fladdict.net/blog/2010/11/optical-camouflage.html
KINECT with Mac（ニコちゃんマーク）
http://www.youtube.com/watch?v=pUn_obT60MM
KINECT with Macテスト（深度情報による表示）
http://www.youtube.com/watch?v=079DD-_V1bw
KINECT with Macテスト(座標ズレ)
http://www.youtube.com/watch?v=fjsEw2vm9pU
http://www.youtube.com/watch?v=0mEHKFibv0g
http://www.youtube.com/watch?v=JQvLt7DQhaI
http://www.youtube.com/watch?v=MZHEzDmXO2w
108 102 [sage] 2010/12/23(木) 18:19:21 ID: Be:
動いたー ＼(^o^)／
Ubuntu 10.10 amd64 ではどうやっても動かなかった(SSE3に対応したCPUまで買ったのに)ので、
あきらめてUbuntu 10.10 32bit版をインストールして最初から全部やり直したら、うまく動くようになりました。
NITEのサンプルにあったボーントラッキングも出来ています。
長い道のりだった…
環境はML115, Athlon X2 5000+, Kubuntu 10.10 x86(32bit)
インストールしたのは
- OpenNI 1.0 Alpha build 23 binaries for Ubuntu 10.10 32bit
- avin2-SensorKinect-b7cd39d.tar.gz
- PrimeSense NITE version 1.3 Beta Build 17 for Linux x86
の3つをこの順で。NITEはインストールする前にDataの下のxmlファイルを書き換える必要あり。
これを忘れるとサンプルが起動しない。詳しくはここを。
http://www.keyboardmods.com/2010/12/howto-kinect-openninite-skeleton.html
基本的には3つも./install.shを叩くだけだがavin2とNITEはその前に少し作業が必要。
詳しくはREADMEに書いてある。
そしてデフォルトでSSE3を使うので手持ちCPUの確認を。
/proc/cpuinfo に "pni" の文字があればOK (sse3ではない!)
動画うｐしてスゲー、付属のサンプル動かしてスゲーだけじゃなくて、ちゃんとプログラミングに
ついて語るスレ無いの?
サンプルソースとAPI Referenceと海外の掲示板読んである程度使えるようになったけど、
API多すぎレファレンス説明簡略化しすぎで一人で網羅するの辛い。
110 デフォルトの名無しさん [sage] 2010/12/24(金) 08:52:08 ID: Be:
depth.GetAlternativeViewPointCap().SetViewPoint(image);
でRGB画像に合うように調整された形で深度イメージが出力されるようになるけど、
この調整済み深度イメージ上の座標を、元の調整される前の座標に戻す方法ってない？
例えば関数にポンっとx,y座標投げれば元のx,y座標が返ってくる的なの
キャリブレーションデータから計算すればいいんだろうけど、面倒くせぇ
APIあるだろうとリファレンス見て探してるけど見つからない
111 デフォルトの名無しさん [sage] 2010/12/24(金) 09:01:54 ID: Be:
ここだろ。プログラム板だし。
俺はやっとサンプルが動いた所なのでもう少し待て
NITE
113 デフォルトの名無しさん [] 2010/12/24(金) 11:05:27 ID: Be:
NITEなぞすぎる
114 デフォルトの名無しさん [sage] 2010/12/24(金) 12:49:24 ID: Be:
>>110
「Open〜」系のライブラリで提供されるのは基本的にハードウェアを使えるようになるAPIだけだから
その辺のアルゴリズムは自前で実装が基本
115 デフォルトの名無しさん [sage] 2010/12/24(金) 13:33:44 ID: Be:
これ操作中の自分を1.8m以上離れて写すようにkinectを設置するのが難しいな。
付属のケーブルは3.3mあるけど結構きつい。
USB延長ケーブルを使って+1mまでなら何とか動作する。
+3m足してやるとデータ取りこぼしまくりで正常動作しなくなる。
基本的に延長しない方がいい。
NITEサンプル楽しい。
116 デフォルトの名無しさん [sage] 2010/12/24(金) 13:41:14 ID: Be:
Kinect使うときのよくある失敗はOpenNIだけ入れてドライバー入れ忘れることだな。
俺はavin2/SensorKinectドライバーを使っている。
とりあえず一番簡単そうなSample-SingleControlは理解した。
自分でプログラミングするときはインクルードパスを
/usr/include/ni
/usr/include/nite
に通してlibOpenNI.soとlibXnVNite.soをリンクする。
main.cppでは最低次の２つをインクルードする。
#include <XnOpenNI.h>
#include <XnVSessionManager.h>
あとは検出したいゼスチャーに相当するクラス。このサンプルではWaveDetector.hを使っているので
#include <XnVWaveDetector.h>
120 デフォルトの名無しさん [sage] 2010/12/24(金) 17:20:35 ID: Be:
基本的なフローは
1. コンテキスト（xn::Context）を作る
2. セッションマネージャー（XnVSessionManager）を作る
3. 検出したいゼスチャーのコントロール(ここではXnVWaveDetector)を作る
4. 2-3にコールバック関数を登録する
メインループはこんな感じ。
while (!g_bQuit) {
context.WaitAndUpdateAll ();
pSessionManager->Update (&context);
}
ドキュメントは次の３つ。
NITE Controls 1.3 - Programmer's Guide.pdf
NITE Algorithms 1.3.pdf
NITE 1.3.0 - API Reference.chm
とりあえずProgrammer's Guideだけ読んでおけばプログラミングの基礎としては十分。
いくつかの重要な概念。
セッション： トラッキングが動作中の状態が「in Session」
フォーカス・ゼスチャー： 特定の動作を行うとトラッキングが有効になり「in Session」状態に変わる
"Wave"： 手を左右に移動する動作
"Click"： 手を前後に移動する動作
コンテキスト： そのままの意味
セッションマネージャー： そのままの意味
コントロール： ゼスチャーの検出器。PushDetectorとかWaveDetectorとか多数。
検出したい動作のコントロールをセッションマネージャーを頂点とするツリーでつなぐ。
イメージ的にはキャプチャーされたデータはセッションマネージャーから流れ出して各コントロールに流れ込み、
一致していればそこに設定されたコールバック関数を呼び出す。
124 デフォルトの名無しさん [sage] 2010/12/24(金) 19:58:24 ID: Be:
>>119-121 はNITEミドルウェアを使った場合ね。
OpenNIのみでKinectから生データ（RGB, Z, 加速度）を取得するのとは別の話。
そっちは今調査中。NITE使いつつ生データにアクセスってできるのだろうか。
C言語からOpenNIを使う場合
#include <XnOpenNI.h>
C++からOpenNIを使う場合
#include <XnCppWrapper.h> (この名前はどうかと思う）
コンテキストを作る場合XMLファイルを読み込んで作るのが簡単。
画像とデプスを取りたい場合は該当するNodeを作る。
<ProductionNodes>
<Node type="Depth">
<Configuration>
<MapOutputMode xRes="640" yRes="480" FPS="30"/>
<Mirror on="true"/>
</Configuration>
</Node>
<Node type="Image">
<Configuration>
<MapOutputMode xRes="640" yRes="480" FPS="30"/>
<Mirror on="true"/>
</Configuration>
</Node>
</ProductionNodes>
rc = context.InitFromXmlFile (SAMPLE_XML_FILE);
これでコンテキストにNodeが登録されているので、あとはFindExistingNodeするだけ。
rc = context.FindExistingNode (XN_NODE_TYPE_IMAGE, imageGenerator);
rc = context.FindExistingNode (XN_NODE_TYPE_DEPTH, depthGenerator);
データの作成を開始して、
context.StartGeneratingAll ();
新しいデータが来るまでブロック。
while (!g_bQuit) {
context.WaitAnyUpdateAll ();
// ここで画像、デプスデータの取り出し
}
非常に簡単。
取得したデータをどうやって表示するか？
サンプルでは全てOpenGL、glutを使っている。
カメラを平行投影、視野領域が(0,0)-(WIDTH,HEIGHT)に設定して画面全体を覆う四角型ポリゴンを１枚書く。
データはすべてテクスチャーにしてglTexImage2Dで毎フレームGPUに転送。ogehoge;
ちなみにデプス値は自分でヒストグラムを作って手前が１で奥が０になるように描画している。
見てなかった。ごめん。
そうですね。wikiあると良いですね。
Kinect ？で空中のゴミを検出して箱でキャッチ
ttp://www.nicovideo.jp/watch/sm18391671/
よっぽど作って嬉しかったんだね
かわいい
なんかくやしそうだなオイｗ
次回作はトランポリン風にして
ピンポン玉を拾いながら移動してみてほしい
ものはいいのに人がだめなので、残念極まりない
http://uni.2ch.sc/test/read.cgi/denki/1341072468/658-
そんなことよりもleap motionの方がフェイクっぽくてイライラする
sdk公開してコードが一行も出てこないなんてありえない
嘘なのに、すごーいって言われても何にも嬉しくないんだが
しかもあれKinectじゃないらしいぞ。
Kinect PrimeSense＋Microsoft
Xtion PrimeSense＋ASUS
http://hayabusa3.2ch.sc/test/read.cgi/news/1343056135/
人間にはタイヤがどの方向を向いてるかを前もって知るのはできても、コントロールするのは難しい。
ということは、投げるほうが正確にその方向に投げなければならない。
何度もやればできなくはない。
2’31’’のシーンにPC画面が映っていて、人が投げ上げた瞬間に左上に画面が出てくる。
これが加工でないとしたらキネクトが物体を認識した印なんじゃないかと思う。
また、音声は入っているので、ゴミ箱が動き出すときにタイヤの向きを変えているかを聞き取ることができる。
人間が正確にハンドルを切ることは出来ないので、コンピュータによる処理が行われている証拠になる。
僕の耳では動き出す瞬間、1’35’’にテストしている、向きを変えるときの甲高い音が聞こえる。
ゆえに本物。
ちなみにこれの構想は10年くらい前に俺が２ちゃんねるに書き込み済み。
故に。。
人間性って何処で判断してるの？妄想？
同じようなことをやってる奴からは嫌われるセリフだな
スキンメッシュくらい簡単だろ
物理演算くらい簡単だろ
bullet使えばすぐできる
当たり判定ぐらい簡単だろ
○○ならやってる
あいつが簡単だって言ってた
その簡単なことに何年も費やした俺はバカだったということだ
人生無駄にした死にたい
まぁ自分とは分野が違うからかもしれないが
http://www.j-cast.com/tv/2012/07/25140543.html
命中精度がよくないと言う話を聞いて納得。
ゴミ箱の位置とか向きをどうやって特定しているのかがよく分からなかった。
一応電子コンパスとモーター自身の回転数で現在の向きとタイヤ向きは分かるし
多分キネクトでゴミ箱の位置も分かるんだろうけど、正確なものではないから。
あと、タイヤの向きが微妙にずれてたし。
ちょうど数日前にブラシレスモーターの制御ICがモーターの回転角度をある程度把握する仕組みのページ見てたから
センサーらしきものが見当たらなくてもなんとかなるってことは知ってた。
精度を上げるには電子コンパスだけじゃなくキネクトの画像認識でもっと正確な位置や向きを計算したり
移動中にゴミ箱の位置を微調整したりが必要かな。
ハンドルの向きを固定するのは自然とロックするんだろうか。
でも無駄だな。
ゴミ箱にカメラつけて物体を認識したらそれに向かって突撃したほうが簡単に精度は上がる。
問題はバッテリーの持ちか。
待機中通信だけなら大して電気食わないが、画像認識だと結構な電気食いそう。
そうでもないかな？
いや、奥行き見るために赤外線照射してるからこれが結構電気食うはず。
いや、奥行きを見るために赤外線照射しないといけないんだからドットパターンが写り込まない小さな物体は捕らえられないはず。
まあこれは衝突防止とかでやってる２カメラ使った物体認識を使うことでだいぶ現実的にはなるかな。
ゴミ箱のままじゃすぐ飽きられて商売にならないと思うけど
キャッチボール出来るようにしたら案外金になるかも。
その場合かなり耐久性が必要になるけど。
壁に取り付けたXtionと、それにつながったデスクトップPCを使って、
ラジコンのごみ箱を操縦していると思うんだが…
そうだろうね。それで？
外観を見ただけではゴミ箱のタイヤがどっちを向いているか分からないので
その制御について僕は話したつもりだけど。
深度画像から落下予測点を求めた後、方向と距離を送信してる感じかな
次は空中ゴミ攻撃防御用ミサイル迎撃システムを見たい
ああ、そういう意味ね。
赤外線照射がバッテリを…って言ってるから、ごみ箱だけで完結する
システムに持っていきたいっていう話をしてるのか、どっちなのか
よくわからなかった。
> ごみ箱だけで完結する
> システムに持っていきたいっていう話をしてるのか
うん、その後そういう話をしたね。
実際に車の衝突防止に使われてるのはカメラ２つと制御チップですよ。あとは固定金具。
パソコン本体も手のひらサイズのやつがあるからゴミ箱に搭載することは可能だけど
無線LANで接続してパソコンに計算させたっていいわけで。
まあ、受信だけしてればいい現状から見れば送信とか計算とか電気食いまくりだけど、
拾うべきものがあるかどうかはコンセントにつながったヤツで判断して
物体が浮いてたらゴミ箱を起動してゴミ箱は自律的にそれを探してキャッチすれば電池の心配はいらなくなる。
しかし、それだとシステムが二重化して無駄になるのでやっぱり単純なラジコンがいいとなるのかな。
１０回に１回しかキャッチに成功しないのだと。
100%遊べない自身がある
http://blogs.msdn.com/b/kinectforwindows/archive/2012/08/03/kinect-for-windows-developer-toolkit-update-v1-5-2.aspx
モバイル型３Dカメラ
小さいな
問題は奥行き精度だけど。
なんか見てて切なくなった
二つのRGBカメラと距離が判明している一つの点A
Aに焦点を合わせた状態で
距離観測対象の二つの映像を画像解析して二つの映像の同一点BC
ABとACの距離から物体との距離が測れる
これなら太陽が出ててもいけるし、RGBカメラ二個でもできる
画像解析をはさむから赤外線よりも遅くなるけど安く作ることはできる
>>55
スレチだが清算や部門売却にあたり、知財がどうなってくるのか
懐にとっておいても台所事情が悪いと研究開発も鈍化するからな
小型3Dカメラや視差カメラとHMD組合されれば電脳コイルのメガネが実現するので
MS、Google、Oculus以外にも頑張って欲しいんだけどね
この分野はソフトだけでもダメでfoxconnのような組み立てるだけの会社だけでもダメで
間に必ず部品の研究、実用化、小型化を行ってる会社がいて、なおかつ元気でないとダメだと思う
おまいまさか三角測量知らんのか？
カメラ３個あ距離の測定誤差とか、いろいろ疑問浮かばないか？
ていうか三角測量で安く作れるならＭＳの技術者がとっくに採用してるだろｗ
それでできるんならさっさと作ってくれんかね。
レーザー測量は機材が高いんだよね。
ステレオマッチングか、勉強になった
よくこれで距離が測定出来る物だと不思議だが
http://blogs.msdn.com/b/kinectforwindows/archive/2012/09/04/kinect-for-windows-fall-roadmap.aspx
Kinect for Windows SDKは10月8日アップデート、さらに7か国で発売 - Engadget Japanese
http://japanese.engadget.com/2012/09/05/kinect-for-windows-sdk-10-8-7/
ttp://d.hatena.ne.jp/logion/20120907
3台まで何とか成功したのでメモを晒してみますが、
相性問題が大変でもう疲れたよパトラッシュ…orz
LANでつないだ複数のPCを使う方法はビジョン系の論文で見かけますので
よく使われてるようですね。
MSが公言している「1台のPCでKinect 4台まで対応」、
というのを実機で試してる人は(こちらで探した限り)見つけらなかったので、
なんとかやってみたい所です…。
つーかほとんど相性問題の検証になってるのな
やはり、キネクトの最大の弱点である、仰向け・うつ伏せに対応するんじゃないかな
http://www.techpowerup.com/172043/Intel-Perceptual-Computing-SDK-2013-Beta-Gets-SoftKinetic-Technology.html
【PC Watch】 【IDF 2012基調講演】パルムッター氏がHaswell Ultrabookの新機能を解説
http://pc.watch.impress.co.jp/docs/news/event/20120912_559062.html
http://pc.watch.impress.co.jp/img/pcw/docs/559/062/html/14.jpg.html
今日の「めざましてれび」で検証してた
30個投げて入ったのは5個らしい
kinectでマウスポインタを動かすのに上のサイトを参考にしてやろうと思ったんだけれど
途中の＞MultiTouch.Behaviors.WPF4.dllがどうしても準備できない
誰か試してみてくれると助かる
アホすぎ
モジュールの入手手段が分からんとか、氏んだ方がいいんじゃね？
> MultiTouch.Behaviors.WPF4.dllは下記のURLより[DOWNLOAD] ボタンを選択して、MultiTouchBehaviorSource.zipをダウンロードしてください。
> →参照：Windows Phone, Silverlight and WPF Multi-Touch Manipulations（CodePlex）
リンク先からダウンロードできるプロジェクトがビルドができない…。
具体的には、System.Windows.Interactivity とか Microsoft.Expression.Interactions とかのコンポーネントが見つからない。
ttp://msdn.microsoft.com/ja-jp/library/system.windows.interactivity(v=expression.40).aspx
ググって見つかるヘルプによると…もしかしてExpression Studio 4 がいるのか?
体験版インスコすればOK
お試し期間過ぎても、アセンブリ参照は無問題ｗ
メモ読ませていただきました. 参考になります
こちらはマザボのUSBポート+USBハブだけで
3台同時使用、SDKでdepth,color画像取得までできました
マザボはASUS P8Z77-Vです
すばらしいです。
こうして成功例の構成を公開して頂けると(私を含め)嬉しい人がたくさんいると思います。
そちらの例は、P8Z77-Vのスペック表を見ると、
ttp://www.asus.co.jp/Motherboards/Intel_Socket_1155/P8Z77V/#specifications
- ASMedia USB 3.0 controller
- Intel Z77 chipset (USB3.0)
- Intel Z77 chipset (USB2.0)
で3つのコントローラが載っていたということなのでしょうか…。
あるいは、KinectSDKに書かれているUSBコントローラ1つにつきKinect1台、
という制限を乗り越えられたということであれば前代未聞の偉業だと思います。
(あと、こちらの4台目を接続する話は諸事情によりなくなりました…)
おそらくホストコントローラ3つのおかげだと思います
接続する場所によってはうまく動作しなかったのですが、
USB3.0のところだけ組み合わせとしてうまくいく例が多い、ということに
経験的に気づき何とかたどり着きました.
こちらは4台必要そうなので、後はPCI-Expressあたりでどうにかしようかと考えてます
http://blogs.msdn.com/b/kinectforwindows/archive/2012/10/08/kinect-for-windows-releases-sdk-update-and-launches-in-china.aspx
kinectやる暇ねー
http://blogs.msdn.com/b/kinectforwindows/archive/2012/10/10/inside-the-kinect-for-windows-sdk-update-with-peter-zatloukal-and-bob-heddle.aspx
http://blogs.msdn.com/b/kinectforwindows/archive/2012/11/05/kinect-fusion-coming-to-kinect-for-windows.aspx
http://www.forest.impress.co.jp/docs/news/20121105_570958.html
http://www.forest.impress.co.jp/img/wf/docs/570/958/image3.jpg
http://www.forest.impress.co.jp/img/wf/docs/570/958/image2.jpg
“Python”でKinectセンサーを操作するためのライブラリ「PyKinect」が「Kinect for Windows SDK 1.5」に対応
http://gigazine.net/news/20121107-bodymetrics/
手や身体全体を動かすことでマウスカーソルを移動できるほかクリックなども可能
http://www.forest.impress.co.jp/docs/review/20121119_573593.html
設定画面の顔が恐い。。
公開したってのが重要だけど、内容はたいしたことないよな
CQ出版以外も来いよ
オライリーはいいかげんMaking Things See翻訳してよ
www.kumikomi.net/archives/2011/08/rp34fem.php
100〜のスレッドの続きを読む
