C++相談室 part137
!extend:on:vvvvv:1000:512
C++に関する質問やら話題やらはこちらへどうぞ。
ただし質問の前にはFAQに一通り目を通してください。
IDE (VC++など)などの使い方の質問はその開発環境のスレにお願いします。
前スレ
C++相談室 part135
https://mevius.2ch.sc/test/read.cgi/tech/1522495206/
このスレもよろしくね。
【初心者歓迎】C/C++室 Ver.102【環境依存OK】
http://mevius.2ch.sc/test/read.cgi/tech/1509780815/
■長いソースを貼るときはここへ。■
http://codepad.org/
https://ideone.com/
[C++ FAQ]
https://isocpp.org/wiki/faq/
http://www.bohyoh.com/CandCPP/FAQ/ (日本語)
----- テンプレ ここまで -----
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured
ﾜｯﾁｮｲほにゃららが出てきてない。
スレの立て方は一番上に書いてある。
前スレや関連スレへのリンクも間違ってるぞ。
ume
ディスクキャッシュに入ってるってずいぶん前からわかってたのに
何でムダな作業をやらせたの？
どんだけ頭悪いのかよおく分かっただろ
同じ計算機で2秒で終わるような読みこみ処理で
数十秒かかるとかいってたﾜｹだからな
相当ｵﾂﾑが弱い
このｽﾚは知恵遅れしかいない
分かってたとかいいだしてるしな
ﾃﾞｨｽｸ読む時間に知ったかぶって調子こいてた知恵遅れは
どこいったの？
何度も指摘してたけど
ﾊｹﾞ
知恵遅れは前のｽﾚ読んで出直してこいや
ﾊﾞｶいる？
ｷｬｯｼｭのっかても数十秒かかってたってことだぞ
何度もﾃﾞﾊﾞｯｸﾞで走らせてるﾊｽﾞのに
知恵遅れの方法やｺｰﾄﾞ数十秒かかるってことだ
ｵﾚのは2秒かからない
知恵遅れは息してる？
fgetsの17秒とreadの1～2秒しか無い
普通に読むだけで数十秒なんて測定結果は無い
ｵﾚの方法は最適な方法だからな
今遅いことが証明されてるのはfgetsだけ
まず自分が呼んでる関数がどんな動作してるか分かってないからな
他の方法も読むだけなら2秒
相当な知恵遅れしかいない
CもC++も何も分かってない
それ以前の問題
相当な速度で速く読みこみたいのに標準関数のﾌｧｲﾙﾎﾟｲﾝﾀ使う知恵遅れなんか
まずいない
ﾌｧｲﾙﾎﾟｲﾝﾀ使う標準関数は
このｽﾚにいる知恵遅れにでも簡単に使えるように
openやread使って使いやすく作ってあるだけだからな
readとfreadの差を強調する
オーバーヘッドのオーダーは1
読み込みバッファが常識的なサイズであれば無視できる
fgetsのオーバーヘッドのオーダーはn
バッファサイズによらずオーバーヘッドは無視できない
で、
もともと測りたかったディスクアクセスの時間は？
まさかキャッシュに入った状態が普通と考えてるわけではあるまい
いちいちこっちのﾊﾞｯﾌｧにｺﾋﾟｰしてんのに
まずその程度のことすら分かってない
知ったかぶってるのは分かる
で肝心の解析コードはどうした？
糞遅いコードを自信満々にあげてたけど
ｵﾚのｺｰﾄﾞを動かして速度測定したの？
ｵﾚより10倍以上低速に作る才能がある知恵遅れのくせに
間違い無い
お前の環境で15GBのテキストを作って解析時間を測ってみな
知恵遅れはほっといて
ﾃｽﾄﾃﾞｰﾀをｼﾞｪﾈﾚｰﾄするｺｰﾄﾞを
前ｽﾚの内容読んでﾃｷﾄｰに作った
https://ideone.com/cPZvWL
baka_genでｺﾝﾊﾟｲﾙすれば大量のﾃｽﾄﾃﾞｰﾀを作ってくれる優れものだ
※ 指定ｷﾞｶﾞﾊﾞｲﾄ数越えたら、1つのｾｸｼｮﾝ書ききったら停止する
使い方
Usage：baka_gen <fileparh> <GB size>
出力されてる形式に問題がないかみといてくれ
形式が分からないと解析処理を作りようがない
明日からこのﾃｽﾄﾃﾞｰﾀを解析する処理を作る
ｵﾚは知恵遅れが書いたｺｰﾄﾞより少なくとも10倍以上速い処理を書いてる
なんか error がいっぱい出ているようだが…
これを越えればいい
ｴﾗｰとかいわれても分かるﾜｹがないだろ
ｳﾞｫｹ
fgets 17秒
これは俺じゃない
キャッシュに入ったデータの読み込み時間
と
ディスクからの読み込み時間
とを比べて10倍とか言ってるの？
>>32 https://ideone.com/cPZvWL
の下の方にいっぱい書いてあるぞ？本当にコンパイルの通るコードなのか？
なんとでもいえるからな
どんなﾌｧｲﾙ読んで
どんなｿｰｽ作ったわけ？
ﾌｧｲﾙ形式ちゃんとわかってんの
間違いなく通る
ｺｺで教えを乞うているﾊﾞｶですら
それぐらいのことやってる
ｵﾏｴはそれ未満だ
10%の割合でx, yの行
セクションは全部で100個くらい
数値は乱数で作成した
実際の分布を考えて、
桁数によって出現率を変えてある
異常データでも不正アクセスしない
文字コードはS-JIS
改行はLFのみ
「unknown type name ‘size_t’」がインクルードファイルで直る問題なのか？
ideone に怒られないコードが書けないのか？
printf("%d", n);
で出力される文字列と同じ書式
ﾍｯﾀﾞﾌｧｲﾙを適切にｲﾝｸﾙｰﾄﾞしたら
普通にｴﾗｰﾒｯｾｰｼﾞ消えたぞ
ﾊﾞｶはなにをいってるのか意味が分からないﾜｹ
ごちゃごちゃいってないでｺｰﾄﾞあげたらどうだ
処理時間は1文字平均約2クロック (Haswell)
最適化的にはこれが出発点
さらに高速化する価値がある処理であれば
マルチスレッド,GPU, AVX ...
まだまだ高速化の余地はある
アホと思われない活動が可能になって行くんだよ。
サンプルデータ作成コードありがとうございます。
実行してみましたが面白いですねこれ。
完成したら数十ギガのデータ作って遊んでみたい。
サンプルデータができて説明しやすくなったので色々補足させていただきます。
ちょっと細かい内容になるので、今あるサンプルデータ作成コードを
使用されても問題ありません。
文字コードはutf8 or euc-jpの両方を想定しています。
ファイルの1行目に下記行が一度だけ出てきます。
// タイトル、倍率(mag)。(この係数を使って④の数値から割る、正の整数。unsigned int)
::fprintf(fp, "%s %d\x0a", "TITLE_NAME", 2000);
具体的には ttps://ideone.com/hi8bYd の64行目に上記が入ります。
②のセクション集計値は個数が0のときがある。その時はテキスト行だけで終わり。
0 0 1 Jul～
TEXT TEXT TEXT TEXT
③のテキスト行は日本語(2byte)が来ることがある。
＞つづく
QQ subname -1 0 0 1 -21000000 600000 2
→この行が無いファイルもある。
→7,8カラムは1行目の倍率数字で割る（数値行と同じ計算）
→3～6カラムは -1, 0, 1, のいずれか。この4つの組み合わせであとで計算に使うことがある。
1 0 0 1 →TYPE_A
0 1 -1 0 →TYPE_B
-1 0 0 -1 →TYPE_C
0 -1 1 0 →TYPE_D
-1 0 0 1 →TYPE_E
0 -1 -1 0 →TYPE_F
1 0 0 -1 →TYPE_G
0 1 1 0 →TYPE_H
→9カラム目は正の整数。(unsigned int)
→下記6つのバリエーションがあります。
QQ subname
QQ subname c
QQ subname -1 0 0 1 -21000000 600000
QQ subname -1 0 0 1 -21000000 600000 2
QQ subname c -1 0 0 1 -21000000 600000
QQ subname c -1 0 0 1 -21000000 600000 2
※cはcという文字列固定
※1つのファイルに存在するのはいずれか1つのフォーマット
そして少し複雑なのが、上記QQ行は先頭のQQがなくなってx, y行に存在することがあります。
1つのファイル内でQQ行とx, yの後ろにくるパターンの両方は存在せず、片方が出てきたらもう片方は出てきません。
x, yと同じ行にくる場合のフォーマットもQQ行の規則と同じです。
x 1 234 subname -1 0 0 1 -21000000 600000 2
y 2 234 subname -1 0 0 1 -21000000 600000 2
＞つづく
これもQQ同様x, yの次の行にあったりなかったりします。
QQとRRが一緒に出てくることは無いと思います。
フォーマットは「RR 正の整数」でQQのようにx,yの後ろに来ることはありません。
x 1 2
RR 3
11 11 11 11
11 11 11 11
↓QQ、RRが一緒に出てくることは無い。
x 1 2
QQ subname c -1 0 0 1 -21000000 600000
RR 3
↓これも無い
x 1 2 RR 3
＞つづく
型や名前は最適なものに変更されて問題ありませんし、他に最適な
格納方法があればそれでも問題ありません。
typedef struct __tag_rr_db {
unsigned int rr_num;
} t_rr_db;
typedef struct __tag_qq_db {
char qq_name; //subname
bool is_c; //cがあるかないか
QQ_TYPE qq_type;
float numbers; // 2つの数字のリスト（vector?）
unsigned int count; //最後尾の数字
} t_qq_db;
typedef struct __tag_elem_db {
ELEM_TYPE elem_type; // x or y
unsigned int no; // x or yの番号
unsigned int num_line_count;
t_qq_db qq_db;
t_rr_db rr_db;
numbers; //数値行のリスト(vector?)
} t_elem_db;
typedef struct __tag_section_db {
unsigned char name;
unsigned int num_1;
unsigned int num_2;
unsigned int text_line_count;
texts; //テキスト行(vector?)
t_elem_db elem_dbs; //elem_dbのリスト
} t_section_db;
typedef struct __tag_all_db {
title_name; mag; section_dbs; //section_dbのリスト
} t_all_db;
土方コーダに発注する気分でてめえのクソログの仕様ドヤ顔で書いてんじゃねえよ
ありったけスレ私物化して相談しまくったんだからそろそろ自分の手と頭を動かしたらどうだ
続けて
ていうか徹底的にやれ
ていうかディスクキャッシュのサイズと読込サイズの理想的な関係は微妙なもんじゃわ；
HDD周りのキャッシュには次の3階層ある
(1) 1トラック内のランダムアクセスではHDDだと平均的に1/2回転分の時間待たされるから、
HDD側であらかじめ1トラック分はキャッシュする
(2) シークでは今日日のCPUの速度からみて地質年代ﾚｳﾞｪﾙの遅延が生じるから、
OSにとって都合の良いサイズ（ページサイズとか）を単位とする単位でキャッシュされる
(3) で、その上に標準入出力のバッファがある（setvbuf()で調整できるのはこれ
SSDだと(1)が書き換え回数最適化絡みのキャッシュに置き換わるが、(2)や(3)は同じ
高速化には(3)のバッファリングやアプリ側の処理というものと、(2)と(1)のキャッシングをいかに並行動作させるかがｷﾓすぐる
fgets()とfread()の速度差は、単一ファイルをシーケンシャルアクセスするときは言うほど開きはない（上のしくみから導ける
一方、複数ファイルを交互にアクセスしたりHDDのまちまちな場所をランダムアクセスしだすとたちまち顕在化する（これも上のしくみから導ける
単一ファイルの読込であっても、アプリがファイルの一部を読み込んで考え込む、の繰り返しなパターンならば
アプリ側のマルチスレッド化が有効な「こともある」 今回は該当しないと思うが、、
依存処理系では特定OSの話になるし
抽象化されたハードウエアじゃ特性を仮定すること自体ナンセンス
申し訳ありませんが、C++と関係がない話は、他のスレでやってください。よろしくお願いします。
お気を悪くなされませんよう。
cout << l << endl;
cout << (signed int)l << endl;
⇒
4294967295
-1
int m = 4294967295;
cout << m << endl;
unsigned int n = 4294967295;
cout << n << endl;
⇒
-1
4294967295
unsigned int l = -1;
int m = 4294967295;
がエラーにならないのはなぜでしょうか？
↑は、ロベールの本に載っているコードです。
friend class ValueFactory;
//friend Value* ValueFactory::New(int n) const;
↑これを
friend class ValueFactory;
//friend Value* ValueFactory::New(int n) const;
と変更するとなぜコンパイルエラーになってしまうのでしょうか？
ロベールの本には、「不完全型」というのを利用する必要があると書いてあります。
friend class ValueFactory;
↑これはなぜ「不完全型」を使わなくてもOKなのでしょうか？
ValueFactoryの実体を作って返すためにはすでに定義が分かってないといけない(完全型でないといけない
対してfriend宣言は名前だけ分かってればいい(定義がまだ無い(=不完全型)でいい
というだけの話
暗黙のキャストのせい。
整数リテラルに型を表す接尾辞がつかない場合は原則として int として解釈されるけど、
int の範囲より大きい場合はそれを表せる最低限の整数型として解釈されるんだったはず。
整数型の初期化 (代入) の右辺に現れた値が左辺の型で表せるときはそのままの値であることが保証されるが、
そうでないときは一定の規則に従って縮小される。
縮小の仕方は、
左辺が unsigned のときは、左辺の型が表せる最大値に 1 足した数で右辺の modulo を取った値が左辺に入る。
左辺が signed のときは未定義。
なので、 (int が 32 ビットの大きさをもつとき) unsigned int l = -1; が 4294967295 になるのは規格通りだが、
int m = 4294967295; が -1 になるのは保証されない。
規格を確認せずに記憶で書いてるので、
もし間違ってたら誰か指摘よろー。
vector<string> moji = {"aaaaaa", "bbbbbb", "ccccccccc"};
ofstream ofs2("mojibin.bin", std::ios_base::out | std::ios_base::binary);
for (int i = 0; i <= 2; i++) {
ofs2.write(moji[i].c_str(), strlen(moji[i].c_str()));
}
書き込みは、エラー無くできるのですが
ifstream ifs2("mojibin.bin", std::ios_base::out | std::ios_base::binary);
for (int i = 0; i <= 2; i++) {
ifs2.read((char*)&moji[i], strlen(moji[i].c_str()));
cout << "(" << i << ")" << moji[i] << " ";
}
読み込みは、読み込んで表示も出ますが
何かエラーが出ます
どうしてでしょうか
ありがとうございます。
ソースコード全体をコンパイラがみれば定義も分かるのに、なぜコンパイルエラーにするのでしょうか？
>>64
ありがとうございました。
例えば、 Python では、相互に参照していてもOKです。
なにか、ヌル文字を読み込もうとしてるエラーのようで
なるほど、区切り文字というのを入れて
getlineとかを使用して読み込んでいくべきなのかな・・・・
vector<string> moji = {"aaaaaa", "bbbbbb", "ccccccccc"};
ofstream ofs2("mojibin.bin", std::ios_base::out | std::ios_base::binary);
for (int i = 0; i <= 2; i++) {
moji[i] += "\n";
ofs2.write(moji[i].c_str(), strlen(moji[i].c_str()));
}
ifstream ifs2("mojibin.bin", std::ios_base::out | std::ios_base::binary);
string temp;
int i = 0;
while (getline(ifs2, temp, '\n')) {
cout << "(" << i << ")" << temp << " ";
i++;
}
これでまたvector<string>に入れたらいいか
c++はＨＳＰとかと違って難しいですね
&moji[i]はstringインスタンスの格納先アドレスであって、中に格納されている文字列データの先頭ではないよ。
無理やりやるなら
ifs2.read(const_cast<char*>(&moji[i].data()), moji[i].length());
とかすれば動くと思うけど
>>71
文字列以外も書き込みだしたら\nと競合するけどいいの？
getline使うならbinaryモードは使うべきでないと思うし、そもそも文字列しか書き込まないならbinayモードにする必要ある？
C++はそういうコンパイルの仕方しないから
cppごとにオブジェクトファイル（クラスのインスタンスとしてのオブジェクトとかとは別の意味）というのを作ってから
オブジェクトファイル同士のリンクという作業をして目的の実行バイナリを作る
オブジェクトファイルは自分自身で完結してないといけないので、
「ValueFactoryとかいうクラスのポインタ」「ValueFactoryとかいうクラスがfriendだという情報」は持つことが出来るけど
（別のファイルがValueFactoryの実体を持ってると期待して）
ValueFactoryの実体作れとか実体使ってなんかやれ（そういう実行コードを保持しろ）と言われたら困ってしまうってこと
数字の配列はバイナリでエラー無いので
やはり、文字列はテキストに出力したほうがいいんかな
>>73
今度からはそうします
すみませんでした
https://en.m.wikipedia.org/wiki/Type-length-value
以下調査結果です。
ファイルは上記で13GBのファイル生成したものを使用
https://ideone.com/hi8bYd
①下記コードの結果
https://ideone.com/e9iA5m
512,15 →15秒
1024,7 →7秒
2048,5 →5秒
4096,3 →3秒
8192,2 →2秒
＞つづく
https://ideone.com/1YhaLR
（整理できておらず、かなりぐちゃぐちゃなコードですが。。）
内容：freadのみ
③上記②で、「#define READ_MODE 1」で実行 →約25秒
内容：改行単位にするため、前スレ962の下記Cを対応したつもりのもの
A. 1行全体が連続してバッファに存在しなくてもいい作りにする
B. リングバッファ
C. fseekでファイルポインタを戻してから読み込む
D. あまりをmemcpyでバッファの先頭にコピーしてから読み込む
E. ほか
④上記②で、「#define READ_MODE 2」で実行 →約60秒
内容：上記③＋解析
⑤fgetsのみ →約15秒
if((fp=fopen(file_path, "r"))==NULL){
printf("ファイルを開けません。%s",file_path);
return 0;
}
char tdata[10000];
char* data = tdata;
while( fgets(data,10000,fp) != NULL ){
data;
}
上記②が約2秒なのに③の改行単位のケアで25秒に増加しているので、
まずここの作りがおかしいんだろうなとは思いますが、
何がおかしいのかが、まだわかっていません。
ありがとうございました。
fseekされることで標準関数がFILEﾎﾟｲﾝﾀでもってるﾊﾞｯﾌｧも
めんどいことになってるのが容易に想像がつく
そしてさらにlseekもｼｽﾃﾑｺｰﾙも呼ばれる
標準関数の実装のされかたにもよるが
大きな性能劣化は避けられない
Dの方法でひたすら ｼ ﾘ ｱ ﾙ に読まないと遅くなるのは当然
そんな標準関数でやってるようなことを、
こっち側でやるならそもそも標準関数使う意味がない
普通にopen、readでこっちが渡したﾒﾓﾘにそのまま読みこむほうがいい
まずFILEﾎﾟｲﾝﾀ使ってfreadしか使わないなら、はっきりいってfread使うﾒﾘｯﾄは
まったくない
関係ないようで関係ある話だが
ｷｬｯｼｭがきいてない状態ではposix_fadviceを呼んでおくと
ｼ ﾘ ｱ ﾙ に大きなﾌｧｲﾙを読み込むときには、計算機の状態によっては
劇的に改善することがある
ﾌﾞﾛｯｸﾃﾞﾊﾞｲｽだからな
そのﾌﾞﾛｯｸﾃﾞﾊﾞｲｽをｾｸﾀ単位で
効率的に読み込むためにはどうすればいいか
あとはもう分かるな
このｽﾚにいるｻﾙ並の知能しかないようなﾔﾂﾗ以外なら
わかるﾊｽﾞだからな
OSでどうやって抽象化されてるか
わかってないからな
こんな頭悪いﾔﾂﾗが抽象化とかなんとかいってるﾜｹ
きっとな前ｽﾚのｿｰｽの注釈で書いたwindowsで、ｷｬｯｼｭなしでReadFile呼ぶ時は
ｾｸﾀの倍数単位でないと使えないという意味も分かってない
ともかくこのｽﾚに居ついてるﾔﾂﾗは頭悪い
基本的なことが分かってないからな
まずなﾊﾞｶはこのｽﾚで相談することが
ﾊﾞｶな行為であることに気付かないといけない
ﾊﾞｶななに聞いてもﾑﾀﾞ
的外れなｺﾀｴしか返ってこない
> FILEﾎﾟｲﾝﾀ使ってfreadしか使わないなら、はっきりいってfread使うﾒﾘｯﾄはまったくない
メリットはあるでしょ。システムコールのreadやReadFile()と違い、
FILE*を使ったfread()はアラインメントを無視した小さいバッファサイズで読み込んでも全体としての速度低下が起きにくい恩恵がある。
おっかしいなー
「ぼくちんのログ解析ソフトをぼくちんが考えた最強の名無しが作るスレ」でやってどうぞ
知恵遅れでも回答できる質問に限定される
こういうﾔﾂﾗはYahoo知恵遅れがお似合い
もうね2ちゃんねるのｸｵﾘﾃｨｰも著しく低下したもんだわ
著しくﾚﾍﾞﾙの低い質問なら回答できるﾜｹだからな
情報として保存される価値すらない
ｺﾞﾐ質問とｺﾞﾐ回答
どやがおで低学歴知恵遅れが回答するｽﾚがｺｺだからな
低学歴知恵遅れが活躍できる場所はｺｺしかない
ｵﾚのﾅﾜﾊﾞﾘを荒らすなと低学歴知恵遅れが
主張している
[ｦ-ﾟ]
ハイパフォーマンスの世界にはそういうのもあるんだな。
解析のコード書けたの？
お前が全部作ってアップすればそれで終わる
最低限のﾃﾞｰﾀ取得できるとこまではできた
※ あとはﾃﾞｰﾀを格納するだけ
ﾃｽﾄﾃﾞｰﾀのｼﾞｪﾈﾚｰﾀを修正した
https://ideone.com/NWdMmL
で、とりあえず作ってみた解析のｺｰﾄﾞが↓ｺﾚ
https://ideone.com/E6QH2r
ﾌﾟﾘﾌﾟﾛｾｯｻにDEBUG_WRITEの定義を追加してやれば
ﾃﾞｰﾀ取得できてることがﾀﾞﾝﾌﾟして確認できる
※ ﾀﾞﾝﾌﾟする場合は、ﾌｧｲﾙにﾘﾀﾞｲﾚｸﾄするにしても
※ 物凄い時間かかるし、物凄いﾃﾞｨｽｸ容量をとるから小さいﾃｽﾄﾃﾞｰﾀでやるほうが
※ とりあえず無難
ものすごい単純なｺｰﾄﾞﾌﾟﾛﾄﾀｲﾌﾟになってるから
ﾊﾞｶでもﾁｮﾝでも簡単に整理や作りかえができるようにはなってる
※ 処理内容はｺｰﾄﾞみたまんまのﾊｽﾞだ
※ 同じような処理がひたすら書かれてる
※ QQがなくなればめっちゃｺｰﾄﾞ減るﾊｽﾞ
※ ｺｰﾄﾞのほとんどはQQのﾑﾀﾞ処理
汚いコード
>>90の時間を計ったら54秒でした。
ファイルアクセスの時間は除いた純粋な解析処理です。
これがプロとアマチュアの差ですか。
まあ54秒でも使えるレベルではあると思うんで
これで良いんじゃないですかね？
例えば、1バイト読み込みを千回やれば、千回API が呼ばれる。
ユーザーモードからカーネルモードへの、コンテキストスイッチが千回
一方、バッファリングしている、C のライブラリを使えば、
千バイト1回の読み込みで済む
ライブラリが抽象化している。
buffering stream
ユーザー → (ライブラリ) → API
今回相談しているものです。
ありがとうございます。
まず >>78 で②が2秒、③が25秒の違いを調べました。
>>78 の③で実行するため昨日アップした https://ideone.com/1YhaLR に
「#define READ_MODE 1」を設定し25秒かかることを確認。
ここから後ろの処理からコメントアウトしていくと、下記行の前後で
25秒から2秒に変わりました。
88行目: data = real_data;
real_data(char型)のポインタをdata(char型のポインタ)に代入したつもりだったのですが、
もしかして実体がコピーされているのでしょうか？
＞つづく
データ生成の方は、>>51 の最後に説明している、
「1つのファイル内でQQ行とx, yの後ろにくるパターンの両方は存在せず、片方が出てきたらもう片方は出てきません。」
というところで、1つのファイルに両方のフォーマットが生成されていましたが、
両方が読めれていれば特に問題はないと思います。
読み込み用のコードは自分の環境では %"PRIu64" → %" PRIu64 " とスペースを開けないとなぜかエラーになりました。
あとargv[2]がよくわかりませんでしたが実行できたのでとりあえずそのままにしています。
以下結果
## 1GB
time ./a.out aaa_1gb
strat... ./a.out aaa_1gb (null)
done... ./a.out aaa_1gb (null)
4./a.out aaa_1gb 3.69s user 0.14s system 99% cpu 3.839 total
## 5GB
time ./a.out aaa_5gb
strat... ./a.out aaa_5gb (null)
done... ./a.out aaa_5gb (null)
18./a.out aaa_5gb 17.40s user 0.78s system 99% cpu 18.216 total
## 13GB
time ./a.out aaa_13gb
strat... ./a.out aaa_13gb (null)
done... ./a.out aaa_13gb (null)
47./a.out aaa_13gb 44.99s user 1.73s system 99% cpu 46.781 total
みなさんキャッシュの話をされていて、その辺がまだあまり理解できていないのですが、
文字列解析時にはキャッシュから取り出して参照するため時間は増えるということですかね。
処理時間は2秒で変わりはありませんでした。
これらのことから >>94 で書いている
88行目: data = real_data;
のせいで2秒から25秒に増加しているようです。
readとfreadで速度に変わりはなさそうです。
## 1GB(fread版)
./a.out aaa_1gb
strat... ./a.out aaa_1gb (null)
done... ./a.out aaa_1gb (null)
4
## 5GB(fread版)
./a.out aaa_5gb
strat... ./a.out aaa_5gb (null)
done... ./a.out aaa_5gb (null)
18
## 13GB(fread版)
./a.out aaa_13gb
strat... ./a.out aaa_13gb (null)
done... ./a.out aaa_13gb (null)
48
んなわけがないからな
先にいっておくが
ちなみにｵﾚのｺｰﾄﾞより
おなじところまで解析できる処理を
速い速度で作れるﾔﾂはまずいないからな
作れるもんなら作ってみればいいわ
ちゃんとDEBUG_WRITEをとって計測してるのかすら怪しい
ﾊﾞｶが書いたｺｰﾄﾞより間違いないなく速いﾊｽﾞだからな
1回目は、HDD からメモリへ読み込むけど、
2回目は、既にメモリ上にデータが存在するから、HDDから読み込まない。
メモリキャッシュから読むから、HDDの読み込み速度とは違う
だから、2回目のテストの前に、
メモリキャッシュをすべて破棄しておいてから、テストをしないといけない
100～のスレッドの続きを読む