「AWSで実現するモダンアプリケーション入門」を読んだ

AWSで実現するモダンアプリケーション入門 〜サーバーレス、コンテナ、マイクロサービスで何ができるのか

ピタゴラスイッチの様にうまく組み立てることが増えてきていると思っているので、そのための情報を知っておく必要があるなと思うので使えるサービスについて知っておこうと思った。

第1章 モダンアプリケーションとは何か
第2章 サンプルアプリケーションの紹介
第3章 アプリケーション開発におけるベストプラクティスを適用
第4章 データの取得による状況の可視化
第5章 サーバレスやコンテナテクノロジーによる運用改善
第6章 CI/CDパイプラインによるデリバリーの自動化
第7章 要件にあったデータベースの選択
第8章 モダンアプリケーションパターンの適用によるアーキテクチャの最適化

環境選びとしてアプリケーション開発以外に手を掛けなくて良い構成を選ぶのが大事ということはわかっている。ただ、マネージドにすればするほどログが設定できてなくて見れなかったり、トラブルの時の対応方法を調べるのが大変になってしまうことが多くて良いとわかっていても諦めてしまうことが多かった。
しかし、そこは諦めるのではなくモニタリングとオブザーバビリティの設定をしっかりとできるように自分の能力を上げていく必要があるのだろうなと思った。なんとなく使えてしまっているから大変なことになるまで対応をしてないため大変になることはわかっているので、まずは使うと決めたサービスで何ができて何ができないか、どんな設定をしないとダメかを試すことに時間と手間をかけるようにしていきたい。

まとめ

• 最後の章のパターンは覚えておく様に何度か読み直す
• 作り直せるところから順番にやり直していきたいものだ
• 最近はAWS 触る時間減っているからもっといっぱい触る

モノリスからマイクロサービスへ ―モノリスを進化させる実践移行ガイド

Effective DevOps ―4本柱による持続可能な組織文化の育て方

「つくって、壊して、直して学ぶ Kubernetes入門」を読んだ

Kubernetes で悩むことが多いので読むことにしてみた。

つくって、壊して、直して学ぶ Kubernetes入門

目次は以下。

Chapter1 Dockerコンテナをつくってみる
Chapter2 Kubernetesクラスタをつくってみる
Chapter3 全体像の説明
Chapter4 アプリケーションをKubernetesクラスタ上につくる
Chapter5 トラブルシューティングガイドとkubectlコマンドの使い方
Chapter6 Kubernetesリソースをつくって壊そう
Chapter7 安全なステートレス・アプリケーションをつくるには
Chapter8 総復習:アプリケーションを直そう
Chapter9 Kubernetesの仕組み、アーキテクチャを理解しよう
Chapter10 Kubernetesの開発ワークフローを理解しよう
Chapter11 オブザーバビリティとモニタリングに触れてみよう
Chapter12 この先の歩み方

大きくは3部構成となっておりKubernetesの構築、Kubernetesを使用してのアプリケーション実行、最後にアーキテクチャの説明や実践的知識の紹介がされている。絵がたくさん書かれているので読む分には疲れることがとても少ないと思った。
章をすすめるたびに書かれているコマンドの実行やファイルの適応をしていくことで少しずつ理解を深めていくことができて面白かった。ローカルだけでも動かせる内容だったので試すことも楽だった。

また他の書籍とは違う点として順調に動かすところを試していくだけではなく、自分たちでシステムを破壊したあとに調査を行う。その後に原因を探ることで修正をすることまで実体験できるのは面白かった。調査をするコマンドが多かったりするので実際に打つことは確かにそちらのコマンドの方が多いよなと思った。
調査の方法としても見ていく順番が紹介されている。切り分けをすることが難しくなるので小さいところから調べるなど他のトラブル調査にでも役立つ情報だなと。

他にも試してみたことないコマンドなども紹介があったのでもう少し試してみようと思った。

まとめ

• 読みやすかったので復習に良かった
• 試したことないコマンドなどもあったので試してみよう
• デバッグのやり方、トラブル調査の仕方は役立ちそう

Kubernetes完全ガイド 第2版 impress top gearシリーズ

Docker/Kubernetes開発・運用のためのセキュリティ実践ガイド (Compass Booksシリーズ)

Kubernetesで実践するクラウドネイティブDevOps

［試して理解］Linuxのしくみ　―実験と図解で学ぶOS、仮想マシン、コンテナの基礎知識【増補改訂版】

「データエンジニアリングの基礎」を読んだ

もっと早く読もうと思っていたのだが読めたので。

データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

目次。

1章 データエンジニアリング概説
2章 データエンジニアリングライフサイクル
3章 適切なデータアーキテクチャの設計
4章 データエンジニアリングライフサイクルにおけるテクノロジの選択
5章 ソースシステムにおけるデータ生成
6章 ストレージへの保存
7章 データ取り込み
8章 クエリ、データモデリング、変換
9章 アナリティクス、機械学習、リバースETL へのデータの提供
10章 セキュリティとプライバシー
11章 データエンジニアリングの未来
付録A シリアライズと圧縮技術の詳細
付録B クラウドのネットワーク

実際に働いてみて幅広い分野に関わること多いよなと思っていたけど、本書でデータエンジニアが気にするべき領域が書かれていて本当に幅広く知識をもって働かなきゃいけないんだと気付かされた。本書ではツールや特定技術ソリューションの話題は避け、データエンジニアリングの背後にある普遍的な技術概念の説明に徹してるとのことなので具体的な話だけではないことを学ぶことができた気がする。

本書では、データをプロダクト価値に変えていく一連の流れをデータエンジニアリングライフサイクルという言葉で表現している。データエンジニアリングライフサイクルは以下と紹介されている。

• データの生成
• 保存
• 取り込み
• 変換
• 提供

また、これらの土台となる要素としてセキュリティ・データ管理・DataOps・データアーキテクチャ・オーケストレーション・ソフトウェアエンジニアの説明がされている。

データアーキテクチャの例としていくつか例として取り上げられている。例えば、データウェアハウス、データレイク、Lambdaアーキテクチャ、Kappaアーキテクチャ、Dataflowモデルなどなど。この辺りがツールに偏っての説明ではないためどんなものを使う時でも話がしやすいようになっているなと思った。

データ生成の部分ではデータベースについての話や、保存のための箇所ではストレージに対するトレードオフなど自分たちが関わるサービスについては知識を持つことの大事さが紹介されていた。たしかに性能問題などが起きた時など結局色々と調べることが多いので広く勉強をしておく必要はあると再認識した。そのための勉強する範囲がまとまっているのでとても参考になった。

どの章にも参考資料がたくさん紹介されている。本だけではなくブログなども記載されておりどんどん幅広い勉強ができるだろうなと思うほどの量が書かれているので順番に読んでいくことをすすめたい。
ストリーミングの話やセキュリティ、モデリングなどはあまり自分から関わりにいってないところなので苦手意識があるので勉強はしないとなと思っている。勉強するのに良さそうなものをまずは参考資料から探そうと。

まとめ

• データエンジアリングの全体像ってこんなにかと思うほど広範囲なことがまとめられている
• 自分が知っている、関わっている範囲は狭いなと認識できたのでもっと頑張らなきゃ
• 引き続き勉強頑張っていかないと
• いろいろやることあって面白い職種なので興味ある方はぜひお話ししましょう！

データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理

ソフトウェアアーキテクチャの基礎 ―エンジニアリングに基づく体系的アプローチ

ソフトウェアアーキテクチャ・ハードパーツ ―分散アーキテクチャのためのトレードオフ分析

202404 振り返り

なんか最近謙虚さがないなと反省することが多い気がしている。
他の人の意見を聞き入れたなと思うことがとても少なくなっている。本を読んだり勉強会に出たりすることも減っているので、このままでは凝り固まった人になってしまうのでそれは避けたいと思っている。あれ？これはと話していて気になった人は指摘してもらえると助かります。

今年も誕生日のほしい物リストからたくさんのプレゼントをいただきましてありがとうございました。
なにかしら簡単にプレゼントをお返ししたり、いただいた本などで得た知識でお返しができるようになるために頑張っていこうと思いますので今後もよろしくお願いします。

べんきょうかい

最近はこれといった勉強会に出てなくても焦らなくなった。
情報のやり取りを簡単にできる人が増えてきたのでそちらで話をすることがメインになってきたからかもしれない。 でも知らないことも増えているのでそろそろ幅広い情報共有としてまた参加してみようと思う。

ほん

電車の中でも本を読めるようになってきた。
結局集中して読むには時間をまとめて時価を取った方が良いけどあまり集中して読まなくても良いなと思う本については出社時間などに読んでいくことで本を消化し続けていきたい。

• ゼロからのデータ基盤 Snowflake実践ガイド
• 科学的管理法
• アナタはなぜチェックリストを使わないのか？
• 開発系エンジニアのためのDocker絵とき入門
• 実践システム・シンキング
• なぜ働いていると本が読めなくなるのか
• パーフェクトビアの社長が教える ビールを最高においしく飲むためのルール
• 火守
• しおかぜ市一家殺害事件あるいは迷宮牢の殺人
• 科捜研・久龍小春の鑑定ファイル
• 鬼怒楯岩大吊橋ツキヌの汲めども尽きぬ随筆という題名の小説
• 何故エリーズは語らなかったのか？
• 新装版 タイム・リープ 上
• 新装版 タイム・リープ 下
• 呪術廻戦 26
• 僕のヒーローアカデミア 40
• SAKAMOTO DAYS 16
• 夜桜さんちの大作戦 23
• キルアオ 4
• 逃げ上手の若君 15
• チェンソーマン 17
• Dr.STONE 27
• ショーハショーテン！ 7
• ダンダダン 14
• 怪獣8号 12
• 怪獣8号 side B 1
• 株式会社マジルミエ 11
• 空挺ドラゴンズ 17
• 1日外出録ハンチョウ 18
• 処刑された賢者はリッチに転生して侵略戦争を始める 10
• 冒険者をクビになったので、錬金術師として出直します！ 7
• 異世界転生で賢者になって冒険者生活 7
• 暗殺スキルで異世界最強 5
• SANDA 13
• 僕の心のヤバイやつ 10
• 働かないふたり 31
• 味方が弱すぎて補助魔法に徹していた宮廷魔法師、追放されて最強を目指す 11
• 冰剣の魔術師が世界を統べる 16
• 転生したら第七王子だったので、気ままに魔術を極めます 15
• 新本格魔法少女りすか 7
• Aランクパーティを離脱した俺は、元教え子たちと迷宮深部を目指す。 7
• ブーツレグ 4
• ブーツレグ 5
• 俺だけ入れる隠しダンジョン 12
• よくわからないけれど異世界に転生していたようです 21
• 実は俺、最強でした？ 12
• 数字であそぼ。 11
• 新九郎、奔る！ 16
• ひらやすみ 7
• 魔法使いの嫁 20
• 姉が剣聖で妹が賢者で５
• スパイゲームA.D.1600 2
• 生き残った6人によると 6
• 追い出された万能職に新しい人生が始まりました 8
• シャングリラ・フロンティア 17
• 青のミブロ 13
• 黙示録の四騎士 16
• ないない堂 ～タヌキ和尚の禍事帖～ 3
• Q.E.D.iff -証明終了- 27
• 陸奥圓明流異界伝 修羅の紋 10
• 葬送のフリーレン 13
• The JOJOLands 3
• 【推しの子】 14
• 十三番目の転生者 4
• 異世界に来た僕は器用貧乏で素早さ頼りな旅をする 10
• 復讐を希う最強勇者は、闇の力で殲滅無双する 12
• 劣等眼の転生魔術師 16
• 俺はまだ、本気を出していないDX 3
• 超人X 9
• 【世界最強の執事】 4
• 塩対応の佐藤さんが俺にだけ甘い 8
• 死に戻り、全てを救うために最強へと至る 7
• この世界は不完全すぎる 11
• その無能、実は世界最強の魔法使い 7
• 一級建築士矩子の設計思考 3
• 波よ聞いてくれ 11
• 最凶の支援職【話術士】である俺は世界最強クランを従える 9
• ひとりぼっちの異世界攻略 19
• 追放された元雑用係、規格外の技術で「最高の修繕師」と呼ばれるようになりました 4
• 元・世界１位のサブキャラ育成日記 9
• すべての人類を破壊する。それらは再生できない。 15
• 君と宇宙を歩くために 1
• 豚のレバーは加熱しろ 6
• 黒執事 34
• トリリオンゲーム 9
• 風都探偵 16
• スノウボールアース 7

えいが

少しずつ映画を観にいく習慣が戻ってきた。
前ほど何でもかんでも観にいくようにはならないけど今後も何本かは観に行けると良いな。

• 名探偵コナン 100万ドルの五稜星
• ゴジラ -1.0
• オッペンハイマー

ぶろぐ

GW なので積んでいた本をいつも通り消化することが少しだけでできたので、読んで興味あったものについていつも通りの雑記をした。

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

「ゼロからのデータ基盤 Snowflake実践ガイド」を読んだ

データエンジニアとして頑張ろうと思っているのでまずは薄い本から読んでみることにした。

ゼロからのデータ基盤 Snowflake実践ガイド 技術の泉シリーズ

目次は以下。

第1章 データ基盤とは
第2章 Snowflake とは
第3章 Snowflake の導入と操作
第4章 権限管理とガバナンス
第5章 実践的データ基盤の構築
第6章 ETL とReverse ETL
第7章 データオーケストレーション
第8章 BI ツール
第9章 データアプリケーションと分先

タイトルにSnowflake と書いてあるがデータ基盤について話がたくさん書かれているのでSnowflake を使わないとしても勉強になる。本書ではデータ基盤の構成として以下が紹介されている。

• データウェアハウス
• データレイク
• ETL/ELT
• リバースETL(データアクティベーション)
• データ変換管理
• ビジネスインテリジェンス(BI)
• データオーケストレーション
• データオブザーバビリティ
• データカタログ

Snowflake を使ってみた感想としては、ロールベースでの権限管理が徹底されていてデータを管理して提供する側としてはとてもやりやすいなと思った。そしてスキーマ、テーブルだけではなく、ユーザや実行環境に関してもすべてSQL で作成することができるなどが面白かった。またPython の実行環境なども用意されておりやりたいことがいろいろと実行できるようになっており便利。データ共有がとてもやりやいものだなというのもあった。

ETL については最近Embulk 以外でバッチ処理をうまくやるものについては興味があって調べている。Embulk はいろいろ使いやすいがJava のバージョンだったり起動時間などが気になることが増えてきており、もう少し早く使いやすいものないかなと思っている。また、DWH からデータを書き戻すReverseETL もユーザ要望が徐々に増えているなと感じているのでツールについていくつか紹介されていたので使ってみたいと思う。また、データを活用していく用語としてデータアクティベーションというのを初めて知った。

他にもオーケストレーション、BI ツールについてもツールの紹介がいくつかされており、使ったことがないものもいくつもあったので面白かった。少しでも使いやすいものにしていきたいので触ったことないものについては試してみようと思った。最近は生成AI が徐々に使えるようになってきているのでDWH もメタデータの充足が求められてきているなと感じることが多い。ここについてはあまり説明がなかったので少し残念だった。

まとめ

• データ基盤についての簡単なまとめとして読むのにちょうどよかった
• Snowflake には便利な機能がいくつもあるので使えるところでは使いたい
• 結局データ連携部分って宦官得ることが多いな

データエンジニアリングの基礎 ―データプロジェクトで失敗しないために

実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ

[増補改訂]ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ (WEB+DB PRESS plus)

データマネジメント知識体系ガイド 第二版

「開発系エンジニアのためのDocker絵とき入門」を読んだ

久々にDocker の新刊を見かけたので読んでみた。

開発系エンジニアのためのDocker絵とき入門

第1章 仮想化とは
第2章 Docker と周辺の要素を眺める
第3章 Docker のインストール
第4章 Docker の基本と大原則
第5章 コンテナの基礎
第6章 コンテナの基本操作
第7章 Ruby コンテナでインライン実行をする
第8章 Python の対話シェルを起動してコンテナとやりとりする
第9章 Nginx サーバを起動してブラウザからアクセスする
第10章 MySQL サーバをバックグラウンドで起動する
第11章 PostgreSQL サーバを起動していろいろ確認する
第12章 イメージの基本
第13章 イメージの基本操作
第14章 異なるバージョンんのMySQL サーバを起動する
第15章vi の使えるUbuntu イメージを作り持ち運ぶ
第16章 Dockerfile の基礎
第17章 vi の使えるUbuntu イメージを作る
第18章 タイムゾーンとログ出力が設定されたMySQL イメージを作る
第19章 起動時にWebサーバが起動するPython イメージを作る
第20章 ボリュームとネットワークの基礎
第21章 MySQL コンテナのデータが消えないようにする
第22章 ホストマシンで編集したファイルをRuby コンテナで実行する
第23章 PHP コンテナからMySQL コンテナに通信する
第24章 構成を整理する
第25章 必要なイメージを準備する
第26章 コンテナ以外のリソースを準備する
第27章 コンテナの起動
第28章 Docker Compose の利用
第29章 Docker Desktop の有料プランとDocker アカウント
第30章 プロジェクトでDocker を使う
第31章 Apple Silicon Mac でDocker を使う
第32章 デバッグのしかた

7部構成となっており、Docker の基礎知識を学び、コマンドとDockerfile の書き方がタイトル通り絵が大量に使われながら説明されている。その後Docker コマンドを使い開発環境を構築するハンズオンが用意されている。そこで作ったものをDocker Compose でいっぺんに立ち上げれるように書き換える作業もある。
最後の章では実運用時の工夫やデバッグノウハウ、最近のMac での動かし方などあまり他の本では見ない内容で面白かった。

それ以外の内容については他の本と変わるところもないが、絵が多いので読むことは苦でもなく時間もかからず読み進めることができた。最初にコマンドの把握をするのには良いのかなと思った。

まとめ

•  読みやすかったので記憶の掘り起こしにも良い
• デバッグについてはもう少しいろんなエラーが出ていると役立ちそうだなと
• 自分が昔書いた記事のコマンド書き直さなきゃと思った

Docker実践ガイド 第3版 impress top gearシリーズ

さわって学ぶクラウドインフラ　docker基礎からのコンテナ構築

プログラマのためのDocker教科書 第2版 インフラの基礎知識&コードによる環境構築の自動化

Docker Deep Dive: Zero to Docker in a single book (Mastering Containers 1) (English Edition)

開発系エンジニアのためのDocker絵とき入門

202403 振り返り

気がつけばブログを出すの忘れたまま数日が経過していた。
なんだか忙しいような暇なような眠いような起きていたいような曖昧な状態で日々を過ごしている。

しかしこの状態はきっと良くないと思うので、なにか始めたいと思うけど始めるものも思いつかないのでまずは積んである本でも読むか。

べんきょうかい

特に何も。
最近成長を感じれることが無いので危機感ががが。

ほん

移動時間がへったので本を読む量も減っている。
積読をこれ以上増やすわけにはいかないのでどうにか読みすすめなくては。

• マルチクラウドネットワークの教科書
• 警視庁公安J アーバン・ウォー
• ネトゲ戦記
• 人生賭博 横浜ネイバーズ
• アルゴリズムの乙女たち
• 小説版 ゴジラ-1.0
• ＶＲ浮遊館の謎
• スパイ教室 短編集 5
• Fate/strange Fake 9
• アクセル・ワールド 22
• 新米オッサン冒険者、最強パーティに死ぬほど鍛えられて無敵になる 9
• JUMBO MAX 10
• 九条の大罪 11
• 文豪ストレイドッグス 太宰、中也、十五歳 3
• ONE PIECE 108
• あかね噺 10
• 夜桜さんちの大作戦 22
• 暗号学園のいろは 6
• 一ノ瀬家の大罪 6
• ワンパンマン 30
• SPY×FAMILY 13
• ラーメン赤猫 7
• 幼稚園WARS 8
• 鴨乃橋ロンの禁断推理 13
• アラガネの子 9
• 桃源暗鬼 19
• バキ外伝 烈海王は異世界転生しても一向にかまわんッッ 10
• 漆黒使いの最強勇者 仲間全員に裏切られたので最強の魔物と組みます 13
• 異世界賢者の転生無双 9
• 最強の皇帝に叛逆したら懲役666年をくらった俺、追放先の精霊界で真の最強となって舞い戻る 3
• 育成スキルはもういらないと勇者パーティを解雇されたので、退職金がわりにもらった【領地】を強くしてみる 9
• 神達に拾われた男 12
• 最高難度迷宮でパーティに置き去りにされたSランク剣士、本当に迷いまくって誰も知らない最深部へ 4
• ここは俺に任せて先に行けと言ってから10年がたったら伝説になっていた。 14
• 世界最高の暗殺者、異世界貴族に転生する 7
• 最強出涸らし皇子の暗躍帝位争い 7
• 剣士を目指して入学したのに魔法適性9999なんですけど!? 14
• 転生貴族、鑑定スキルで成り上がる 14
• 不遇職【鑑定士】が実は最強だった 11
• 最弱な僕は＜壁抜けバグ＞で成り上がる 7
• 勇者パーティを追い出された器用貧乏 10
• 人外姫様、始めました 11
• 我間乱―修羅― 30
• WIND BREAKER 16
• ガベージコレクション
• アラフォー男の異世界通販生活 7
• からかい上手の（元）高木さん 20
• 裏世界ピクニック 12
• 失格紋の最強賢者 26
• ゆるキャン△ 16
• 海が走るエンドロール 6
• 瓜を破る 9
• EDENS ZERO 31
• BRAVE BELL 3
• ウスズミの果て 1
• ウスズミの果て 2
• 気になってる人が男じゃなかった VOL.2
• 解雇された暗黒兵士（30代）のスローなセカンドライフ 12
• 異世界帰りの大賢者様はそれでもこっそり暮らしているつもりです 7
• 失業賢者の成り上がり 14
• 史上最強の魔法剣士、Fランク冒険者に転生する 11
• 王立魔法学園の最下生 12
• 劣等眼の転生魔術師 15
• 無駄飯食らい認定されたので愛想をつかし、帝国に移って出世する 5
• 岩元先輩ノ推薦 8
• 龍と苺 15
• 終末のワルキューレ 21
• 終末のワルキューレ奇譚 ジャック・ザ・リッパーの事件簿 4
• 魔女大戦 32人の異才の魔女は殺し合う 9
• テンゲン英雄大戦 5
• 列強戦線 1
• メダリスト 10
• 平和の国の島崎へ 5
• MUJINA INTO THE DEEP 2
• 異世界おじさん 11
• 対ありでした。 7
• 世界最強の後衛 8
• 雷帝と呼ばれた最強冒険者、魔術学院に入学して一切の遠慮なく無双する 5
• 治癒魔法の間違った使い方 ～戦場を駆ける回復要員～ 14
• 外れスキル「影が薄い」を持つギルド職員が、実は伝説の暗殺者 7
• S級ギルドを追放されたけど、実は俺だけドラゴンの言葉がわかるので、気付いたときには竜騎士の頂点を極めてました。 4
• ポイントギフター《経験値分配能力者》の異世界最強ソロライフ 4
• おい、外れスキルだと思われていた《チートコード操作》が化け物すぎるんだが。 3
• おい、外れスキルだと思われていた《チートコード操作》が化け物すぎるんだが。 4
• 落ちこぼれ衛士見習いの少年。(実は)最強最悪の暗殺者。 1
• アカネノネ 7

えいが

ハイキューは相変わらずおもしろかった。
ちょっとずつ観ることができるようになってきているので続けて観ていきたい。

• 劇場版ハイキュー!! ゴミ捨て場の決戦
• ARGYLLE
• 52ヘルツのクジラたち

ぶろぐ

デブサミで見かけた面白そうだった本についてのブログを書いてみた。

hihihiroro.hatenablog.com