次世代ビデオコーデック総合スレPart1 【HEVC/VP9/AV1等】
■主な次世代ビデオコーデック
●H.265/HEVC
https://en.wikipedia.org/wiki/High_Efficiency_Video_Coding
●VP9
The WebM Project
https://www.webmproject.org/
●AV1(AOMedia Video 1)
Alliance for Open Media
http://aomedia.org/
■分岐前のスレ
【2016】 H.265/HEVC Part7 【7680x4320】
http://mevius.2ch.sc/test/read.cgi/avi/1485191956/
次スレは>>980が宣言してから立ててください。
Ｑ．おおまかな現状はどうなってるの？（2018年1月中旬時点）
Ａ．H.265/HEVCはUltra HD Blu-rayなどで採用されているが、
複数のライセンスプールの存在により権利関係が複雑化し、
ブラウザ対応や配信での採用が進まない状況。
それに縛られないロイヤリティフリーのコーデック開発を目指して
主要各社がAlliance for Open Mediaを立ち上げ、
VP10/Daala/ThorなどをベースとしたAV1コーデックを開発中。
2018年1月頃にAV1の仕様を確定する予定だが、この予定は
これまでも度々延期されているので、あくまでも予定。
また、様々な特許が存在する中で、AV1が本当にロイヤリティフリーを
実現できるかどうかについては不透明な部分もある。
Ａ．2020年の標準化を目指してJVET(Joint Video Experts Team)で検討が進められている。
FVC(Future Video Coding)という表現がされている模様。
参考リンク
JVET - Joint Video Experts Team
https://www.itu.int/en/ITU-T/studygroups/2017-2020/16/Pages/video/jvet.aspx
Future Video Coding | MPEG
https://mpeg.chiariglione.org/standards/exploration/future-video-coding
HEVCを超える映像符号化標準(PDF)
https://www.ituaj.jp/wp-content/uploads/2017/06/2017_06-07-Spot-HEVC.pdf
JVETが開発を進めているHEVC/H.265を超える次世代符号化技術とは？
https://4k8ktv.jp/2016/09/22/jvet/
次世代エンコード技術(H.266?)は、H.265/HEVCの半分のビットレートで同等の性能を実現？！
https://4k8ktv.jp/2016/03/20/next-generation-encode-h266/
AV1: A Status Update
http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/AV1-A-Status-Update-120214.aspx
549の概要
●AV1のビットストリーム仕様の確定は2017/12/31までを目標としている
●ただ、YoutubeやNetflixといった主要メンバーが納得するレベルにならないとリリースされない。
●Netflixの担当者は「HEVCより20%効率的で、計算量は3〜5倍」というレベルを目安としている。
Youtubeの考えは不明。
●これまでの評価は
Netflix「AV1はVP9より20%効率が良い」
Google「AV1はVP9より30〜35%効率が良い」
とされているが、4月のBitmovin AV1での検証ではそこまで良いものではなかった。
当時77あった実験的コーディングツールのうち8つしか使ってなかったので
改善の余地は大いにあるが、これらの機能の統合や最適化は難しい作業になるだろう。
●ビットストリーム仕様確定後の見通しは以下の通り。
・ChromeやFirefoxは数日中に再生をサポート
・チップの開発に12〜18か月、更にそれを利用したHWリリースに6か月。
(559の続き)
●4月のNABでのBitmovinの実験では1080p24のリアルタイムエンコードに最大200コア程度が
必要だったが、そう遠くないうちに8-32コアでできるようになるだろうというコメントもあった。
http://www.streamingmedia.com/Articles/Articles/Editorial/Featured-Articles/Bitmovin-Pushes-AV1-Forward-Joins-Alliance-for-Open-Media-117634.aspx
■参考：262の記事にある4月時点のAV1のエンコード速度
https://bitmovin.com/bitmovin-supports-av1-encoding-vod-live-joins-alliance-open-media/
・LenovoのT540pノート(i7-4800MQ, 8GB RAM, Ubuntu 14.04)で
1080p24の40秒クリップをエンコードするのに8時間42分かかる。
つまりエンコード速度は0.032fps。
・デコードは上記環境でも問題ない。
●Daala
https://xiph.org/daala/
●Thor
https://github.com/cisco/thor
●以下からソースを落として自分でビルド（aomenc.exeがエンコーダ、aomdec.exeがデコーダ。）
https://aomedia.googlesource.com/aom/
●エンコード方法の一例
ffmpeg.exe -i source.avi -pix_fmt yuv420p -f yuv4mpegpipe - | aomenc.exe --cpu-used=8 --passes=1 -o av1.webm -
●再生方法の一例
aomdec.exe av1.webm | ffplay.exe -
そう
多分変わってないはず
以後HEVC以外のコーデックの話題やAV1コーデック等とHEVCの比較の類はここでお願いします
とりあえず、念のため他の人にあと数レスしといてもらえれば確実かな？
俺は用事で離席しなきゃならないので、ここまで。あとはよろしくお願いします。
上で書き込んだ内容に変な点があればツッコミもよろしくです。急いでざっくり調べたものもあるので。
いや自分のレスだけで20でもいいよ
初心者総合質問スレはそうした
乙
そうだったのか。なんにせよ無事落ちずに済んだようでなにより。ついでに最近のAV1関連記事。
1/5
アップル、動画圧縮技術の開発を目指すAlliance for Open Mediaに加盟 - CNET Japan
https://japan.cnet.com/article/35112777/
1/12
業界を取り巻くプロセッサの脆弱性問題とアップルの対策--Appleニュース一気読み - CNET Japan
https://japan.cnet.com/article/35113077/
・上の1/5の記事に触れてるだけだが「「AV1」は将来の動画圧縮技術のスタンダードとなるか」の項目あり。
それはそうとH.265/HEVCスレの後継立てる人いるんかいな
どうだろうね。
「H.265/HEVC以外の話はするな」という謎の原理主義者が突然出てきて暴徒化したから仕方なく分けたけど、
本来求められていたのは「H.265/HEVCも含めた次世代ビデオコーデック全般について話すスレ」だと思うから、
ほとんどの人は自由なこっちに来るんじゃないかと思う・・・というかそうなってほしい。
https://wyohknott.github.io/image-formats-comparison/report.html
AV1エンコードはクソ遅いけどデコードはそこそこ速い
GoPro HERO6 の4K HEVCエンコーダチップ作ってた会社か。
やっぱ大きな所から切り離されると
身動き自由になるね
■各社GPU(HWエンコーダ)でのH.265/HEVCおよびVP9のサポート状況(2018年1月中旬時点)
●Intel QSV (Kabylake＋Intel Media SDK 2017 R1)
〇HEVC
mainおよびmain10。Bフレーム使用可。
〇VP9
機能自体は搭載されているがWindowsのIntel Media SDKが未対応。
LinuxでVA-APIを使えば利用可能らしい。
https://gist.github.com/Brainiarc7/24de2edef08866c304080504877239a3
●Nvidia NVEnc (Pascal＋NVIDIA Video Codec SDK 8.0)
〇HEVC
mainおよびmain10。Bフレーム使用不可。
〇VP9
未対応
●AMD VCE (Polaris＋AMF 1.4.6)
〇HEVC
mainのみ。main10は不可。Bフレーム使用不可。
〇VP9
未対応
2018/1/14 6:30
アップルがオープンな動画規格に参加した３つの理由 ：日本経済新聞
https://www.nikkei.com/article/DGXMZO25570100R10C18A1000000/
元記事 January 4, 2018 2:18 PM
3 reasons Apple joined the Alliance for Open Media | VentureBeat
https://venturebeat.com/2018/01/04/3-reasons-apple-just-joined-the-alliance-for-open-media/
HEVC in HLS: 10 Key Questions for Streaming Video Developers - Streaming Media Magazine
http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/HEVC-in-HLS-10-Key-Questions-for-Streaming-Video-Developers-122637.aspx
1. Which Devices Support HEVC Playback in HLS?
2. What’s the Effect on Battery Life?
3. What Does Supporting HEVC Get Me?
4. What Does HEVC Support Cost?
5. What Are the Controlling Documents I Should Get to Know?
6. I Know How to Encode with H.264. What Else Do I Need to Know to Produce HEVC?
7. What Are the Requirements for HEVC?
8. Should I Use Apple’s Suggestions Verbatim?
9. What Are My Live Options?
10. What Does the Spec Say About High Dynamic Range (HDR)?
4でH.265/HEVCのパテントプールの図や概説もあり。
http://dzceab466r34n.cloudfront.net/StreamingMedia/ArticleImages/InlineImages/114412-HEVC-HLS-Fig-1-ORG.jpg
スレタイ後半でコーデックを列挙する時に
【H.265/HEVC/VP9/AV1】
にすると、なんかH.265とHEVCがダブってるようにも見えるから、HEVCだけでいいかなーと・・・。
次スレではFVCもスレタイに入れた方がいいかもしれないし、そのへんは今後の検討項目ですかね。
分かる奴しか来ないわけだし
●H.265/HEVC → https://html5test.com/compare/feature/video.codecs.mp4.h265.html
●VP9 → https://html5test.com/compare/feature/video.codecs.webm.vp9.html
JVET JEM software (Fraunhofer Heinrich Hertz Institute)
https://jvet.hhi.fraunhofer.de/
software-manual.pdfを見たけど2016年8月のJEM-3.1で
ちょろっと書き換えただけっぽいので間違いもあるかも。
■FVC(Future Video Coding)のリファレンスソフトウェアJEM(Joint Exploration Model)について
JVET JEM software (Fraunhofer Heinrich Hertz Institute)
https://jvet.hhi.fraunhofer.de/
・エンコーダ(TAppEncoder)とデコーダ(TAppDecoder)が含まれており、
その時点でのFVCの参考実装を試すことができる。
・Subversionでソースを落としてきてVisualStudio2015等でビルドする。
・H.265/HEVCのリファレンスソフトウェアであったHM(HEVC Test Model)の
HM-16.6(2015/06/18)をベースに開発されている。
・元になっているHMのバージョンが古いのは、VCEGが早い時期からHM KTAとして開発していたため。
HM → HM KTA → JEM という流れになっている。
(以下2018/01/17時点)
・JEMの最新はHM-16.6-JEM-7.1(2017/10/27)。
・ちなみにHMの最新はHM-16.17(2017/10/18)。
2018/01/11
EBU Technology & Innovation - How do AV1, JEM and HEVC compare?
https://tech.ebu.ch/news/2018/01/ebu-compares-av1-jem-and-hevc
EBU(欧州放送連合)が、ドイツの大学に委託して、UHDテストシーケンスでの
AV1、JEM(FVC)、HEVCの比較を実施。1/31に行われるセミナーで結果を発表する予定。
[Comparison of HEVC, JEM, and AV1]
In this presentation, the subjective quality of the three video coding algorithms
HEVC (High Efficiency Video Coding), JEM (Joint Exploration Model),
and AV1 (Alliance for Open Media Video 1) is compared for Ultra High Definition (UHD) test sequences.
一般人にも結果がわかるような報道とか発表があればいいんだが・・・。
x265 rev4
http://mevius.2ch.sc/test/read.cgi/avi/1511263100/55-
x265プロジェクトのトップだったMulticoreWare社のTom Vaughan氏が、ライバル社のBeamrに転職するらしい？
https://www.cnet.com/google-amp/news/google-mozilla-av1-photo-format-could-outdo-aging-jpeg/
Apple's got one idea for next-gen photo technology, but a rival approach based on the new AV1 video compression tech could go a step further.
HEICより15%小さい写真フォーマット計画。名前はまだ無い。
それまでにAV1策定はよ
https://people.xiph.org/~tdaede/av1stilldemo/
>>48は>>46の記事で紹介されてるリンクで、複数の画像について AV1/x265/JPEG/Original の比較が可能。
AV1 - Bitmovin
https://bitmovin.com/av1/
AV1 Datasheet - Bitmovin
https://bitmovin.com/av1-datasheet/
Bitmovin-AV1.pdf
https://bitmovin.com/whitepapers/Bitmovin-AV1.pdf
>>14で
「AV1の1080pのリアルタイムエンコードに200コア使ってたが8-32コアでできるようになるだろう」
とあったけど、上の資料や下の記事にあるように、その直後の2017/9/13-18のIBC2017で、
AV1/1080p30/1.5Mbpsのリアルタイム配信を32コアでやってた模様。
A Constantly Evolving Video Landscape on Display at IBC 2017 - Bitmovin
https://bitmovin.com/constantly-evolving-video-landscape-display-ibc-2017/
2017/7/13
Comparing HEVC & VP9 Made Easy
http://blog.beamr.com/2017/07/13/comparing-hevc-vp9/
・VP9、HEVC、AVCを機能面から比較した、
下記タイトルのホワイトペーパー(PDF)をダウンロード可能。
「Choosing the Right Compression Technology ? Comparing VP9, AVC, and HEVC.」
2018/1/6
HEVC today. AV1 tomorrow?
http://blog.beamr.com/2018/01/06/hevc-today-av1-tomorrow/
・AppleのAOMedia参加を受けての記事。HEVCとAV1の比較や問題点等。
前はcwgwinだけで超簡単にビルド出来てたのに通らなくなってて焦ったわ
Norton先生が遮断or削除するんだよなあ・・・。とりあえず一応ビルドは出来るので放置してるけど。
https://www.ituaj.jp/?post_type=itujournal
※次世代コーデックスレ的に関係ありそうな内容だけを抜粋。
※ITU-T SG16は、マルチメディア関連の標準化をしているグループ
ITU-T Study Group 16 - Multimedia coding, systems and applications
https://www.itu.int/en/ITU-T/about/groups/Pages/sg16.aspx
●ITU-T SG16 第1回会合の結果概要 (2017年5月号。会合は2017年1月)
https://www.ituaj.jp/wp-content/uploads/2017/05/2017_05-08-Kaigou-ITUTSG16.pdf
・H.264(V12)の合意
・HDR関連文書の承認
・FVC関連文書の承認
・JCT-VCとJVETの会合
・FVCは前回会合から2%程度の符号化効率改善。
今回4つの改善提案の採用で更に2〜3%の改善を期待。
https://www.ituaj.jp/wp-content/uploads/2018/01/2018_01-09-Kaigou-ITUTSG16.pdf
・H.265(V5)の合意
（モノクローム10およびメイン10静止画プロファイルの追加など）
・HDR関連文書の承認
・JVETの下、H.265を越える次世代映像コーデック(FVC)に向け、
MPEGとの協力を正式に開始
(2015年10月に始まった共同検討の成功を受けたもの)
・JVETは現在、通常のカメラの映像だけでなく、
360度全方位カメラの映像や、高ダイナミックレンジのカメラの映像を
対象とする、共同の提案要求を出している。
・JCT-VCとJVETの会合
・H.265/HEVCが第69回Engineering Emmy Awards（技術・工学エミー賞）を受賞
https://www.emmys.com/news/awards-news/engineering-awards-170927
エンコード・デコードを安価な1チップで高速実行できるようにならないと無理？
多少性能が上なくらいじゃ置き換えるまでは行かないだろうね
webpなんかも、いつも使ってる画像編集ソフトで開けないって大不評だったし
【ミニトピ】iOS 11の写真/動画形式「HEIF」と「HEVC」。従来とは何が違う? - AV Watch Watch
https://av.watch.impress.co.jp/docs/topic/minitopi/1098867.html
>HEIF自体はファイルフォーマット(コンテナ)であり、
>その画像の圧縮方式には複数の技術が規定されている。
>圧縮方式にHEVCの技術を使った場合、ファイルの拡張子は.heicになり、
>（中略）
>H.264を使えば.avci、その他の方式を使うと.heifになる。
このへんよく知らなかった。
これは参考になった
https://github.com/AOMediaCodec/av1-avif
GoogleがRIFF
MSがTIFF
コンテナ三国志
https://news.mynavi.jp/article/jpeg-6/
JPEGとの互換性が鍵
＞JPEGの兄弟のようなMPEGという動画の規格があるのですが、参加している企業の特許が入ると、その企業に規格の利用料が払い込まれます。ビデオやブルーレイなどの再生機器には規格の利用料が1台ごとにかかって、それが製品代に含まれています。
利用料を集めて各企業に再分配する組織(ライセンスプール)があるんです。そのため、MPEGは参加して決定することで利益があがるという方針なんです。
＞一方、JPEGは基本方式を使うことに関しては無料(ロイヤリティーフリー)です。無料であることによって広まり、対応する機器の台数が増える、すなわち市場が拡大することによって、自分たちの製品が売れるという考え方なんです。
デジカメでの成功例がまさにそうですね。もしJPEGが有料であったなら、また違った結果になったかもしれません。
標準化機構JPEG
利権団体MPEG
bpgみたいなものだと思っていたわ
http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Survey-The-Impact-of-Apples-HEVC-Adoption-122654.aspx
AppleがHLSにHEVCを追加した件の影響などについてのアンケート調査レポート。
記事にある内容だけを大雑把に言うと
・HEVCの配信採用は進みそうだが不明瞭なロイヤリティコストへの懸念があるのでなんとかしろ。
・AV1での配信も注目されているが品質・再生パフォーマンス・エンコード時間への懸念がある。
一方でAV1の潜在的な知的財産絡みの問題を懸念している人は比較的少ないようだ。
・HDRの配信も進みそうだ。
といったところかな？詳細PDFのダウンロードは要登録なのでそちらは見てない。
もちろん動画の種類にもよるだろうが、HEVC一本で管理し始めても大丈夫かね
今更他の規格がいきなり標準になる事はないでしょ
そのうちインテルのQSVになったりしないかなー
ウェブ以外だとHEVCのほうが強そう
個人の使用用途ではHEVCがいいだろうね
VP9なんかでもそうだけどロイヤリティフリーなコーデックってエンコードが無茶苦茶遅いから演算コストかけてでも莫大な転送量と特許使用料を減らしたい企業にしかメリット無い
>pixiv社内でのHEIF画像ファイル調査結果を話して良いとの事なのでスライド資料を作りました。
>これの倍は書きたかったけど1時間でも足りなくなるので内容をかなり絞ってます
>(画質検証や派生ロールとか大事なのだけど今回は無しで)
HEIF解説 〜コンテナ構造の実際〜
https://speakerdeck.com/yoya/heif-kaisetsu
Last modified: 2018-01-25 18:42:22 -0800
https://aomediacodec.github.io/av1-spec/
仕様がFIXしたのかと思ったけど、そうじゃなくてドキュメントの更新があったってことかな。
VP9やAV1との比較を行った。記事では昨年12月の主観評価レポートにも触れている。
AV1 Beats VP9 and HEVC on Quality, if You've Got Time, says Moscow State
http://www.streamingmedia.com/Articles/News/Online-Video-News/AV1-Beats-VP9-and-HEVC-on-Quality-if-Youve-Got-Time-says-Moscow-State-122945.aspx
HEVC Video Codecs Comparison 2017
http://www.compression.ru/video/codec_comparison/hevc_2017/
-------
その１
-------
■VP9やAV1との比較。主観評価じゃなくYUV-SSIMでの指標評価。
AV1 0.1.0(Rev. c8b38b0bfd36) ←2017年6月末頃
VP9 v1.6.1-433-g6af42f5 ←2017年4月頭頃
x264 r2833 df79067 ←2017年5月末頃
x265 1.9+169-e5b5bdc3c154 ←2016年7月末頃(妙に古い)
●品質：x264と同等の画質を何%のビットレートで得られるか
AV1： 55%
x265(3pass/placebo)： 67%
x265(2pass/placebo)： 69%
VP9： 72%
x265(2pass/veryslow)： 75%
●エンコード速度(他と比べて)
・x265の2or3pass/placeboは10〜15倍の時間がかかる(実用域ではない)
・AV1は2500〜3000倍の時間がかかる（実用どころじゃない）
●その他
・実用域だとVP9の方がHEVCよりいい感じ。
・AV1とVP9はレート制御甘すぎじゃね？(目標ビットレートとのズレ)
-------
その２
-------
■Subjectify.usっていう主観評価のサービス作ったんで
それを踏まえて各種HEVCエンコーダを比較してみたよ。(昨年12/1のレポート)
●HEVCエンコーダの比較結果
・Kingsoft HEVC Encoder ってのがx265より良い結果になったらしい。
よくわからんけど、これのことだろうか？
https://github.com/ksvc/ks265codec
●Subjectify.usについて
・NetflixのVMAFよりうまくできてるぜ！(自画自賛)
●x264/x265の--tune ssimと主観評価
・x264/x265で --tune ssim にしたらpsy-rdとかがオフになるから
主観評価は下がると思ったんだけど、むしろ上がった。
・でも1080pで1〜4Mbpsという低めのビットレートなのが原因かも。
・x264の開発者によるとpsy-rdは高ビットレート域での改善に使うものらしい。
あと--tune ssimでは--aq-modeがデフォルトのVAQからAutoVAQに変わる。
AutoVAQはある程度自動調整されるのでそれが良い方向に働いたのかも。
VAQは調整次第でAutoVAQより良くなるけどソース毎の調整が必要。
http://gigazine.net/news/20180130-leonardo-chiariglione-mpeg-crisis/
最新のAV1エンコーダは早くなってなかった?
youtubeやnetflixみたいな大規模配信サイトならアクセス多い動画だけでも縮めばメリット大きい
デコーダーはアプリに組み込めばいいから対応も楽だし
圧縮率から考えてHEVC以上の計算量は確実でそれ以上に早くなる事はないだろうけど
https://github.com/tdaede/rav1e
x265より10%圧縮率が高く25%高速なVP9エンコーダ
https://www.twoorioles.com/eve-for-vp9
肝心の画質はどうなのかな？
画質が落ちるようなら今まで通りx265のソフトウェアエンコードを選ぶし。
ks265codecっていうの試してみようと思ったけどパイプ入力も出来ないから使い勝手悪いな
issue見てもkingsoftの許可が無いとパイプ入力実装出来ないみたいな事言ってるし使用制限版って感じやな
ちゃんとした製品版もあるんかな
評価版もないやん
JEM ＞ HEVC ＞ AV1
という結果になったっぽい？詳細な条件とかは不明だけど・・・。
ParkDancersサンプルでのMOS(Mean Opinion Score)グラフ
https://twitter.com/HoffmannHans/status/958677064013570048
BuildingHalllサンプルでのMOSグラフ
https://twitter.com/JYA_35/status/958678591029563394
> today at the EBU conference, results were publicly presenting
> HEVC superior to AV1. ・・・
https://twitter.com/thierryfautier/status/958779824314638336
イベントのサイトに動画とスライドが置かれてるけど、残念ながら有料登録者しか見れないようだ。
https://tech.ebu.ch/pts2018
なんか適当な小さめのAV1動画ある？
今のところAV1のデコードができるのはFirefox Nightlyのみ。
●2017/11/28のMozillaの記事
DASH playback of AV1 video in Firefox - Mozilla Hacks - the Web developer blog
https://hacks.mozilla.org/2017/11/dash-playback-of-av1-video/
●AV1 デモサイト
AV1 Demo by Mozilla and Bitmovin
https://demo.bitmovin.com/public/firefox/av1/
・Firefox Quantum 58.0.1 では以下が表示されて視聴不可。
This browser does not seem to support (this version of) AV1, please try Firefox Nightly.
・Firefox Nightly 60.0a1 なら視聴可。以下は記事ページのwe can report:のところの判定。
This browser supports AV1! It recognized the media type(s):
video/webm; codecs="av1"
video/webm; codecs="av1.experimental.e87fb2378f01103d5d6e477a4ef6892dc714e614"
https://fosdem.org/2018/schedule/event/om_av1/
（★多分後日スライドのPDFとかが置かれると思う。
昨年の例→ https://archive.fosdem.org/2017/schedule/event/om_av1/）
動画：
AV1 Codec Update - YouTube
https://www.youtube.com/watch?v=6UksCRCl_bI
概要
●2/2にビットストリーム仕様をFIXする予定だったけど、無理だったわｗ
●主な残課題
・Fix remaining problems with TXMG
・Final details of high-level syntax
・Last-minute changes to MV prediction
・Fix all of the bugs
・IPR analysis
●あとは技術的な説明
av1update.pdf
https://fosdem.org/2018/schedule/event/om_av1/attachments/slides/2639/export/events/attachments/om_av1/slides/2639/av1update.pdf
HIKVISIONという会社が定点カメラ用（背景がほぼ変化しない）に最適化したものをそう呼んでるというだけだった。
H.264比で79.4〜82.5%のサイズ減、H.265比で64.5〜66.4%減だそうな。
H.265+ Takes Video Surveillance to the 4K Era
http://www.hikvision.com/en/Press-Release-details_74_i1496.html
100〜のスレッドの続きを読む
