PHP7が話題になるなか、EOLをとっくに迎えたPHPを使ったシステムを運用するケースは少なくないかと思います。自分もそんなひとりで、今回はそのレガシーコードたちを抱えながらどうにかしてPHPのバージョンアップを進めようとした苦労話です。
今回はPHP5.3から5.5にあげます。5.5もレガシー感あるけど・・・まぁ・・・。
そこそこ大きなシステムを複数にまたがって確認しましたが、ひっかかったのはだいたい以下の4点でした。
これはいたるところにありました。そもそもe修飾子は割とメジャーに使う機能だったけどなぁ。
気が付けばHadoopを使ったログ解析基盤システムのエンジニアになって1年。ようやく少しは話についていけるようになりました。
Hadoopのバージョンアップなんかも視野に入れたりしてて、より一層知識欲しいところだし、ということで Cloudera World Tokyo 2013 に行ってきました。
| 開催日時 | 2013年11月7日(木) 10:00-18:30 | |
| 開催場所 | 目黒雅叙園 | |
| MAP | 大きな地図で見る |
|
| 主催 | Cloudera株式会社 http://www.cloudera.co.jp/jpevents/cwt2013/ |
1. Amebaにおけるログ解析基盤Patriotの活用事例
3. AmebaにおけるRHadoopの活用事例
4. Hadoop コミュニティと YARN の現状
初心者なんで、とりあえずパフォーマンスチューニングとかはなしで、概論的なとこだけ。
入門書としてはこれが一番と勧められたので読んだのだけど、とっかかりとしてはなかなか分かりやすかったと思う。
まぁ実際に手を動かさないと何とも分かんないところあるけどね・・・。
| 項目 | RDBMS | Hadoop | |||
| データサイズ | 小さなデータの参照・更新 | 大きなデータの挿入・参照。更新はない | |||
| レスポンスタイム | 早い | 遅い | |||
| サーバ台数と性能向上策 | 1桁台数でスケールアップ(マ シンスペック向上) | 数十台~数千台でスケールア ウト (台数増加) | |||
| データ構造 | 構造化データ | 準構造化データ |
| HDFS (Hadoop Disributed FileSystem) | 分散ファイルシステム。高いスループットと信頼性が特徴 |
| MapReduce (Hadoop MapReduce) | 分散処理フレームワーク |
| Hive | Hadoop を操作するためのSQL的なインターフェース |
| Pig | Hadoop を操作データフローで記述するスクリプト言語的なインターフェース |
| Sqoop | DBMS と Hadoop でデータをマイグレーションする |
| HBase | 拡張性のあるKey-Value型データストア |
| ZooKeeper | アプリケーションを集中管理するためのプロダクト |
| Master | Slave | ||||
| HDFS | NameNode | DataNode | |||
| MapReduce | JobTracker | TaskTracker |
| ローカルモード | 疑似分散モード | 完全分散モード | |||||
| 利用目的 | 手元の環境で MapReduce 動作確認 | 手元の環境の HDFS 上で MapReduce 動作確認 | 分散処理環境構築 | ||||
| サーバ台数 | 1台 | 1台 | n台 | ||||
| HDFS 利用 | 利用しない | 利用する | 利用する |
package net.kzk9;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; public class WordCount
{ public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line); while(tokenizer.hasMoreTokens())
{ word.set(tokenizer.nextToken()); context.write(word, one); } } } public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable value = new IntWritable(0);
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException
{ int sum = 0;
for(IntWritable value : values) sum += value.get(); value.set(sum); context.write(key, value); } } public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
GenericOptionsParser parser = new GenericOptionsParser(conf, args); args = parser.getRemainingArgs(); Job job = new Job(conf, "wordcount"); job.setJarByClass(WordCount.class); job.setMapperClass(Map.class); job.setReducerClass(Reduce.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(TextOutputFormat.class); job.setNumReduceTasks(1); FileInputFormat.setInputPaths(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); boolean success = job.waitForCompletion(true); System.out.println(success); } }
export HADOOP_HOME=/usr/lib/hadoop export DIR=wordcount_classes CLASSPATH=$HADOOP_HOME/hadoop-core.jar for f in $HADOOP_HOME/lib/*.jar; do CLASSPATH=${CLASSPATH}:$f; done rm -fR $DIR mkdir $DIR javac -classpath $CLASSPATH -d $DIR WordCount.java jar -cvf wordcount.jar -C $DIR . rm -fR $DIR
public static class Map extends Mapper<KeyIn, KeyOut, ValueIn, ValueOut> { @Override protected void map(KeyIn key, ValueIn value, Context context) throws IOException, InterruptedException { context.write(new KeyOut, new ValueOut); } }
public statuc class Reduce extends Reducer<KeyIn, KeyOut, ValueIn, ValueOut> { @Override protected void reduce(KeyIn key, Iteravle<ValueIn> values, Context context) throws IOException, InterruptedException { contect.write(new KeyOut, new ValueOut); } }
package net.kzk9; import net.kzk9.WordCount; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.*; import org.apache.hadoop.mrunit.mapreduce.MapDriver; import junit.framework.TestCase; import org.junit.Before; import org.junit.Test; public class WordCountTest extends TestCase { private WordCount.Map mapper; private MapDriver driver; @Before public void setUp() { mapper = new WordCount.Map(); driver = new MapDriver(mapper); } @Test public void testWordCountMapper() { driver.withInput(new LongWritable(0), new Text("this is a pen")) .withOutput(new Text("this"), new IntWritable(1)) .withOutput(new Text("is"), new IntWritable(1)) .withOutput(new Text("a"), new IntWritable(1)) .withOutput(new Text("pen"), new IntWritable(1)) .runTest(); } }
昨年末にチーム間の異動がありまして、Hadoopを使ったデータマイニングが主業務になりました。
それまで（一応）Webアプリケーションエンジニアだったのですが、今は見習いデータマイニングエンジニア。
上司の方には「今までのノウハウをこれからに活かしてほしい」らしいですが、正直戸惑いと模索の日々が続いています（その上、年が明けてから解析業務1個もやってない）
そんな中、年に1回くらいのペースで開催されるというHadoop Conferenceが開催されるということで、見聞を広げる意味合いを込めて参加してきました。
| 開催日時 | 2013年1月21日(月) 10:00-18:00 | |
| 開催場所 | 東京国際展示場 | |
| MAP | 大きな地図で見る |
|
| 主催 | Hadoopユーザ会 http://hcj2013w.eventbrite.com/ |
1. Hadoop を取り巻く環境
2. LINEのHBaseを利用した大規模なメッセージストレージ
3. Hadoop meets Cloud with Multi-tenancy
4. Amazon Elastic MapReduceとHadoopコミュニティの関わり
5. Hadoop's Power to Transform Business
6. Introduction to Impala 〜Hadoop用のSQLエンジン〜
7. Hadoop上の多種多様な処理でPigの活きる道
8. スケーラブルなシステムのためのHBaseスキーマ設計
9. いかにしてHadoopにデータを集めるか
10. トラブルシューティングのために欲しかった、Hadoopがまるっと分かる可視化ツール
正直Hadoopを扱って正味2か月程度の僕には難易度の高いものでした。理解度2割ちょいってところ。
特にKeynoteが一番難しかったかな。何をメモったらいいか分からんかった。
Pigは業務で使っているから一番理解できたかなぁ。PigUnitってのは知らなかったな。
トレンドとしてはHive, Impala, fluentdあたりは熱い感じだった。どれもいまいち分からなかったけど。
これらをそもそも業務にフィードバックできるかっていうと、結局のところHadoopクラスタに対して結構大規模な改修をかけなきゃいけないはずで、そうなると社内政治的に厳しい気がする。
詳しくはTogetterあたりを見るとわかりやすかった気もする。
http://togetter.com/li/443400
現段階の実力では、理解できる人のツイートなりブログなりを見て、ようやく少し理解できる程度で、講演を聞いてそのままパッとわかるようになるには、まだまだ経験が足りなすぎるなぁ、という印象でした。
結局僕は自分の至らなさを痛感してベッコリ凹んで会社に帰っていきましたとさ。
兼ねてより機会があれば参加していたAizu.LTですが、このほど東京でも開催されるとのことで、今回も登壇してきました。
勉強会タグ、使うの久々だなー。ちょいちょい出てるんだけど。もっとアウトプットしていかないとダメですね。
| 開催日時 | 2012年7月21日(土) 14:00-16:00 | |
| 開催場所 | 株式会社タイムインターメディア | |
| MAP | 大きな地図で見る |
|
| 主催者 | @luxion |
1. Groovy!
2. インターネットと著作権
3. Corosuke meets UXD
4. 最近読んだ本読みたい本
感想適当だなー。
メモるの忘れたのもあるけど、ゆるーくやるのもこのAizu.LTの良さだと思うんですよね（言い訳）
今回は告知から開催まであまり日が無かったこと、告知そのものをほとんど行わなかったこともあって、内輪感はどうしても強かったのですが、内容はかなりギッチリ詰まっていて、充実した時間を過ごせましたね。
Aizu.LTでよくスピーカーとして登壇するメンバーは結構固定化しつつあって、彼らはなんだかんだで場数を踏んだせいもあり、やはりトークは巧い。
また、今回はかなり技術的に傾倒していた感もあり、これはこれで面白かったな、と。Aizu.LTはライフハック的なLTも結構あったりするし。
東京開催、面白かったのでまたやりたいですね。会津大学卒業生結構いるんだから、話をどんどんしたい。
もちろん趣旨的には会津大学と関係なくても参加OKで、むしろ交流を広める会なので、いろんな人と話をしたい。
自分の話すネタとしては、業務紹介系にどうしても行きがちなので、別のネタも話せるようになれるといいなぁ。
ま、次回までにゆっくり考えます。
@luxion 幹事お疲れさまでした。また誘って下さい。
参加された方もお疲れ様でした。
先月9日に、前職であるヤフー株式会社を退職しまして、３週間ほど春休みを頂戴しました。
4月1日付けで、株式会社ドワンゴにエンジニアとして入社しました。
噂には聞いてましたが、すげぇ会社ですよ。ドワンゴ。
エンジニアのレベルが平均的に高い印象。ニュース記事とかTwitterとかで見かける顔もちらほらいらっしゃいます。
前職でも凄い人たくさんいたはずなんだけどね。何しろ人多くて。
自己紹介をする暇もなく、初日の午後から検証作業をやっていました。
チームの人は未だに僕が何者か分かっていないんじゃないですかね。
勤務開始からようやく5日、会社に慣れる暇すらなく、ひたすら検証、テスト、調査、コード修正に追われています。
自覚はしてますが、背伸び感は結構ありますね。
ドワンゴでエンジニアを名乗るには、足りない物が多過ぎて、今はただのお荷物。
ただ、これを望んで転職したので、背伸び感が背伸びじゃないと思えるくらいに実力はつけたいところ。
ろくに仕事も出来ない入社5日目の中途が言う台詞じゃないのですが、ヤフーにもいいところいっぱいあって、それをドワンゴにフィードバック出来る機会は結構あると思うのです。
そういうところは、自重せずに行きたいな、と。
まずは実力の底上げからですかね。Ruby勉強しなきゃ。
１週間で、多少なりの自負みたいなものはゴミくずだと認識を改めました。
それと社内での人脈作りたい。１週間働いた感じ、プロジェクトが結構クローズドに運用されてるので、どう知り合えばいいものかな。
ヤフーの方とも定期的に情報交換とかしたいですね。
社内外の方との交流ってのは、今後僕の課題。
目標は「ドワンゴに行って、あいつ変わったな」って言われること。もちろんポジティブな意味で。１分１秒でも早く。
頑張ります。よろしくお願いします。
