スパコンを使ってみた

今せっかく某スパコンが使える立場なので、スパコンを使った性能比較などをやろうと思い立った。 まず試しに、tensorflowのチュートリアルのうち、Deep MNISTを動かしてみた。

https://www.tensorflow.org/versions/r1.3/get_started/mnist/pros

CNN2層と全結合層2層で、バッチサイズ50の、イテレーション回数は20000回。

まず手元のGPUも載っていない普通のPCで試した時の処理時間

CPU : Intel Core i5-4460 @3.20GHz Memory : 8GB

→ 2569.622 [seconds]

次にスパコンで動かしてみた結果

スパコンで動かす場合は、手元でジョブ用のスクリプト(使いたいライブラリやアプリを呼び出してから、自分のプログラムを実行するスクリプト)を作ってから、コンピュータノードと呼ばれる、CPUといくつかのGPU(Tesla P100)がセットになったノードにジョブを投入して終わるのを待つ。

試しに、CPU(Xeon E5-2680 v4 2.4GHz) 2コア, GPU 1コア, メモリ30GBのノードを使ってみる。 このスパコンIntel CPU + nVidia GPUという超汎用アーキテクチャなので、世の中のアプリケーションが苦も無く動く。(そこが楽な所であり、面白くない所でもある)

こんな感じのメッセージが出る。

module python-extension/3.4 loaded
this enables the following python extensions for python 3.4:

module name  version
------------ ---------
numpy         1.12.1
scipy         0.19.1
h5py          2.7.0
mpi4py        2.0.0
pycuda        2017.1
cupy          1.0.2
matplotlib    2.0.2
sympy         1.1.1
cython        0.26
mayavi        4.5.0
pil           4.2.1
pillow        4.2.1
tensorflow    1.2.1
caffe         1.0
chainer       2.0.0
2018-04-27 21:10:50.211442: I tensorflow/core/common_runtime/gpu/gpu_device.cc:940] Found device 0 with properties: 
name: Tesla P100-SXM2-16GB
major: 6 minor: 0 memoryClockRate (GHz) 1.4805
pciBusID 0000:08:00.0
Total memory: 15.89GiB
Free memory: 15.60GiB
2018-04-27 21:10:50.211610: I tensorflow/core/common_runtime/gpu/gpu_device.cc:961] DMA: 0 
2018-04-27 21:10:50.211620: I tensorflow/core/common_runtime/gpu/gpu_device.cc:971] 0:   Y 
2018-04-27 21:10:50.211634: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: Tesla P100-SXM2-16GB, pci bus id: 0000:08:00.0)

イテレーション100回毎に精度が出力され、こんな感じ。

step 0, training accuracy 0.06
step 100, training accuracy 0.64
step 200, training accuracy 0.9
step 300, training accuracy 0.92
step 400, training accuracy 0.9
step 500, training accuracy 0.94
step 600, training accuracy 0.94
step 700, training accuracy 0.92
step 800, training accuracy 0.94
step 900, training accuracy 0.98
step 1000, training accuracy 0.9
step 1100, training accuracy 0.96
step 1200, training accuracy 0.96
step 1300, training accuracy 0.96
step 1400, training accuracy 1
step 1500, training accuracy 1
step 1600, training accuracy 0.98
step 1700, training accuracy 0.98
step 1800, training accuracy 1
step 1900, training accuracy 0.96
step 2000, training accuracy 1
step 2100, training accuracy 0.96
step 2200, training accuracy 0.96
step 2300, training accuracy 0.96
step 2400, training accuracy 1
step 2500, training accuracy 0.94
step 2600, training accuracy 0.96
step 2700, training accuracy 0.96
step 2800, training accuracy 0.98
step 2900, training accuracy 0.96
step 3000, training accuracy 1
step 3100, training accuracy 0.98
step 3200, training accuracy 0.94
step 3300, training accuracy 1
step 3400, training accuracy 1
step 3500, training accuracy 1
step 3600, training accuracy 1
step 3700, training accuracy 0.98
step 3800, training accuracy 0.96
step 3900, training accuracy 0.98
step 4000, training accuracy 1
step 4100, training accuracy 0.96
step 4200, training accuracy 1
step 4300, training accuracy 1
step 4400, training accuracy 0.98
step 4500, training accuracy 1
step 4600, training accuracy 1
step 4700, training accuracy 0.98
step 4800, training accuracy 1
step 4900, training accuracy 0.96
step 5000, training accuracy 1
step 5100, training accuracy 1
step 5200, training accuracy 0.98
step 5300, training accuracy 0.98
step 5400, training accuracy 0.96
step 5500, training accuracy 0.94
step 5600, training accuracy 0.98
step 5700, training accuracy 0.98
step 5800, training accuracy 1
step 5900, training accuracy 0.98
step 6000, training accuracy 1
step 6100, training accuracy 0.98
step 6200, training accuracy 1
step 6300, training accuracy 1
step 6400, training accuracy 0.96
step 6500, training accuracy 1
step 6600, training accuracy 0.98
step 6700, training accuracy 1
step 6800, training accuracy 1
step 6900, training accuracy 0.98
step 7000, training accuracy 1
step 7100, training accuracy 1
step 7200, training accuracy 0.98
step 7300, training accuracy 1
step 7400, training accuracy 1
step 7500, training accuracy 1
step 7600, training accuracy 1
step 7700, training accuracy 1
step 7800, training accuracy 1
step 7900, training accuracy 1
step 8000, training accuracy 1
step 8100, training accuracy 1
step 8200, training accuracy 0.96
step 8300, training accuracy 1
step 8400, training accuracy 1
step 8500, training accuracy 1
step 8600, training accuracy 1
step 8700, training accuracy 1
step 8800, training accuracy 1
step 8900, training accuracy 1
step 9000, training accuracy 0.98
step 9100, training accuracy 1
step 9200, training accuracy 0.98
step 9300, training accuracy 1
step 9400, training accuracy 0.98
step 9500, training accuracy 0.98
step 9600, training accuracy 1
step 9700, training accuracy 1
step 9800, training accuracy 1
step 9900, training accuracy 0.98
step 10000, training accuracy 1
step 10100, training accuracy 1
step 10200, training accuracy 1
step 10300, training accuracy 1
step 10400, training accuracy 1
step 10500, training accuracy 0.98
step 10600, training accuracy 1
step 10700, training accuracy 1
step 10800, training accuracy 1
step 10900, training accuracy 1
step 11000, training accuracy 1
step 11100, training accuracy 1
step 11200, training accuracy 1
step 11300, training accuracy 1
step 11400, training accuracy 1
step 11500, training accuracy 1
step 11600, training accuracy 1
step 11700, training accuracy 1
step 11800, training accuracy 1
step 11900, training accuracy 1
step 12000, training accuracy 0.98
step 12100, training accuracy 1
step 12200, training accuracy 1
step 12300, training accuracy 0.98
step 12400, training accuracy 1
step 12500, training accuracy 1
step 12600, training accuracy 1
step 12700, training accuracy 1
step 12800, training accuracy 0.98
step 12900, training accuracy 1
step 13000, training accuracy 1
step 13100, training accuracy 1
step 13200, training accuracy 1
step 13300, training accuracy 1
step 13400, training accuracy 1
step 13500, training accuracy 1
step 13600, training accuracy 1
step 13700, training accuracy 1
step 13800, training accuracy 1
step 13900, training accuracy 1
step 14000, training accuracy 1
step 14100, training accuracy 1
step 14200, training accuracy 1
step 14300, training accuracy 1
step 14400, training accuracy 1
step 14500, training accuracy 1
step 14600, training accuracy 1
step 14700, training accuracy 1
step 14800, training accuracy 1
step 14900, training accuracy 1
step 15000, training accuracy 1
step 15100, training accuracy 1
step 15200, training accuracy 1
step 15300, training accuracy 1
step 15400, training accuracy 1
step 15500, training accuracy 1
step 15600, training accuracy 1
step 15700, training accuracy 1
step 15800, training accuracy 1
step 15900, training accuracy 1
step 16000, training accuracy 1
step 16100, training accuracy 1
step 16200, training accuracy 1
step 16300, training accuracy 1
step 16400, training accuracy 1
step 16500, training accuracy 1
step 16600, training accuracy 1
step 16700, training accuracy 1
step 16800, training accuracy 1
step 16900, training accuracy 1
step 17000, training accuracy 0.98
step 17100, training accuracy 1
step 17200, training accuracy 1
step 17300, training accuracy 0.96
step 17400, training accuracy 1
step 17500, training accuracy 1
step 17600, training accuracy 1
step 17700, training accuracy 1
step 17800, training accuracy 1
step 17900, training accuracy 1
step 18000, training accuracy 1
step 18100, training accuracy 1
step 18200, training accuracy 1
step 18300, training accuracy 1
step 18400, training accuracy 1
step 18500, training accuracy 1
step 18600, training accuracy 1
step 18700, training accuracy 1
step 18800, training accuracy 1
step 18900, training accuracy 1
step 19000, training accuracy 1
step 19100, training accuracy 1
step 19200, training accuracy 1
step 19300, training accuracy 1
step 19400, training accuracy 1
step 19500, training accuracy 1
step 19600, training accuracy 1
step 19700, training accuracy 1
step 19800, training accuracy 1
step 19900, training accuracy 1
test accuracy 0.9924

処理時間は 57.510 [seconds]

比較

スパコンが53.35倍高速。やはりTeslaは速かった。 ただし、スパコンといってもTesla-100が付いたノードを1個使用しただけ。しかも単純に実行ノード数を増やしても結果は変わらなかった。 本格的に利用しようと思ったら、Distributed TensorflowやOpenMPIで、複数ノード上で並列処理が可能になるようなプログラムにする必要があるのだろう。

Distributed TensorFlow  |  TensorFlow

MLB大谷早くも大活躍!

大谷翔平、サイ・ヤング賞右腕撃ち! 第2打席で2試合連発の同点2ラン! | Full-count | フルカウント ―野球・MLBの総合コラムサイト― - (2)

大谷すごい!こんなにも早く2HR打って、MLBファンも熱狂させてしまうとは。

自分が大谷の凄さを実感したのは、成功を確信したのは2015年のこと。 それは、なでしこジャパンの澤が引退したときに大谷が発したコメントが凄すぎたんだ。

「選手のうちに養える技術は10年、20年では足りない。暇な時間はあまりない。そのためにしっかりと大事に過ごしたい」

「全部知るのは無理だけど、ちょっとでも近づきたい。時間はみんな平等だけど、時間は足りない」

みんな分かる?これ弱冠21歳の若者が発した言葉ですよ。 20歳そこそこなんて、派手な金髪に袴はいてお酒飲みながら成人だー、なんてやっている人がいるくらいで、ましてや抑圧された高校野球時代からプロ野球に入った人は、みんなお金もいっぱい貰って、新しい遊びもいっぱい覚えて…一流選手と呼ばれる選手でさえそんな感じだと思う。

大谷は違う。これこそが超一流のメンタルなんだと思った。

日本人はショッピングモールがお好き

地元近くにショッピングモールがまた一つ出来る。 といっても、テナントに入る店はどれも超おなじみの全国店舗数最大規模のチェーン店ばかり。知らない店を探す方が難しい。

自分は新しく出来たからって、ショッピングモールなんて行かないけど。しかしこれだけ周辺にショッピングモール乱立で、どこもかしこも全く同じ店構えだったら、さすがのB層な人達(死語!)も行く理由ないんじゃないか?と思ってしまう。。 でも意外と人入るのかな?

そんなんよりも、空き地とか、少し高い鉄棒のある公園とか、壁打ち場が欲しいよ。探しても全然無いのさ・・・

阪神大山悠輔選手

今シーズンのタイガースで一番注目しているのが、大山選手。 昨年新人の年は打率.237に終わったけど、試合を見てとんでもない可能性を秘めた選手だと思った。

何が凄いって、打席でフォームが全くブレない。一線級の投手と対戦しても、自分のスイングを崩されない。 もう数年間チームの四番を打って来たかのような安定度。 新人でこんなのは初めて見た。いや正確には高橋由伸中村剛也以来か。

デビューしたての6月あたりは、明らかにプロのスピードに戸惑って崩されて二軍に落ちていったけど、戻ってきたら別人。 しかも凄いと思うのは、結果が出ていない時でも変わらずスイングに迷いが無いこと。

大選手に育って欲しい。

機内で観た映画

出張の帰りの飛行機の中で、久しぶりに邦画を見た。 普段絶対に見ないのだけど(昔は映画散々見たけど、今はほとんど時間の無駄だと思ってる)、今世の中でどんな映画が作られているのか、参考に知っておこうかなと思って珍しく見てみた。

はたして期待はしてなかったけど、これがほんとひどかった。 昭和時代の雑貨屋の店長が、悩み相談を手紙でやりとりするという内容なのだけれど、次から次へと、都合良く設定された感動させようとするだけの(感動の押し売り)ストーリーがオムニバス的に展開される。

こういう作品いっぱいあると思うけど、とにかく設定・プロット以外に何も伝わるものが無いんだよね。 『養護施設の子供を見舞ったらその晩火事になって、子供を助けるのとひきかえに亡くなってしまう。』 て書けば、もう映画を見たのと同じ。

見た後、どうしてこんなつまらない映画を作っちゃうんだろう、と考えた。

おそらく、原作はもっと描写のあるまともな作品なんだろう。 ヒットした原作を基にして、売れてる俳優そろえて、主題歌にいい曲持ってくれば映画はヒットする、と考えてるからなんだろうか。 何か伝えたいことがあって映画を作ってるんじゃなくて、映画を作って興行収入を得ることが目的。商業映画と言って片付けてしまえば、そうなのかもしれないけど。。

その時ね、ネットで見た小室哲也の引退のニュースを思い出した。

小室哲也のニュースは、引退とか不倫の話とかは全く興味無いけど、意外にも彼の話に共感した。 それは彼の、新しい音楽を作る自信が無くなった、枯渇したという告白だ。

売れていた時代は、ヒット曲をつくろうと思ってやっていたのではなく、好きな音楽をやっていたと。 それが、いつしかヒットメーカーのイメージとか、期待に応えなくちゃという意識の方が強くなってしまったんだろうね。

そして、今回自分が勝手に見た映画と結びつけたのだが、映画とか音楽とか小説って自己表現の場でもある、にもかかわらず、世の中のニーズに応えようとしすぎなんじゃないかと。

もちろん、今回のような商業映画は元々"売れる"ために作ってるのだから、売れさえすればOKなんだけど、 そうではなくて、いつの間にかそういうものに縛られてしまった人も多いんじゃないかと思う。

本来創作って、もっと自由であるべきなのにね。

ビジネスもそう。

マーケティングだの市場分析だの、競合分析だの、そういうものばかりやったところで、斬新で破壊的なビジネスは生まれない。

カイザースラウテルンより愛を込めて

研究目的の出張で、ドイツのカイザースラウテルン市に来てます。 今日が最終日、明日に帰ります。

移動を除くと滞在三日間という期間だったけれど、色々な刺激をもらって、思い出深い出張になりました。

今回の出張の目的の一つは研究開発のパートナー探しであって、議論を終えたあと、 『申し訳ないけど、今回の件はあなただけではなく、他の研究機関も候補としてあたっている』と自分が告げると、 教授はすぐにニコっと笑って、 『つまりうちのcompetitorがいっぱいあるって事だね。気にするな、我々は競争を恐れない』 と言ったんだよね。 あの言葉は凄く胸に響いたな。

翻ってうちの会社なんかはすぐに、競合がやっているから他の戦略を考えた方がいいだとか、ブルーオーシャンじゃないだとか、その業界に会社の強みが無いとか言って批判するんだけど。

本当に必要なのは、オリジナルな思想を持つことだと思った。

オリジナルというのは、必ずしもユニークである必要は無くて、でもそれは、ネットや本に書いてある戦略を真似したものなんかではなくて、 自分で考え、自分で手を動かし、自分で苦労して辿り着いた思想であること。

それがあれば、一度決めたことは簡単に揺らがないし、不測の出来事があっても、誰よりもうまくハンドルできるはず。