Subsurface 2024 のセッション「Beyond Tables: What's Next for Apache Iceberg in Data Architecture」を日本語でまとめます。 Apache Icebergの産みの親の一人であり、Tabularの共同創設者兼CEOであるRyan Blue氏がApache Icebergの現状と将来について話…

Subsurface 2024 のパネルディスカッション「Keynote Panel: Looking Forward-Apache Iceberg and the Iceberg Ecosystem」を日本語でまとめます。 本パネルディスカッションでは、Icebergコミュニティと関連プロジェクトの専門家が集まり、Icebergの進化と…

2024/3/11、Iceberg 1.5がリリースされた。Iceberg 1.5で追加された重要な機能の一つがviewのサポートだ。本記事では、Iceberg viewの仕組みと機能を紹介しつつ、実践的な活用例としてcreate_changelog_viewについて解説する。

本記事ではIceberg 1.5のアップデート内容を紹介する。 記事内容はリリースノートと、各アップデートのPR、コードを基に作成した。 https://iceberg.apache.org/releases/

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 11.The Future of Data Engineering」のまとめ。 以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。 全体の…

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 10. Security and Privacy」のまとめ。 以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。 セキュリティと…

J.P.Morgan Asset ManagementのAWS re:Invent 2023での登壇「One data platform for reporting, analytics, and ML」の視聴メモ エントリ内の情報や図版は特に断りがない限り、youtube上の当該発表を基にしている www.youtube.com 概要 J.P.Morgan Asset Man…

セルフホストなRAGアプリケーションを構築する意義と基本的なアプローチを紹介します。また、設計面での最適化についていくつかのアイデアを示します。

やってよかった ブログの再開 諸般の事情で中止していたブログを再開した。自分の書いた記事を色んな人に読んでもらえて嬉しかったし、ブログきっかけの交流も広がって大変良かった。記事が重厚長大になりがちで、数を出せなかったのは反省。来年は記事のス…

Bytedanceが発表した、人物の画像を元に動画を生成するモデル「MagicAnimate」を試したので知見を記しておく。 showlab.github.io 基本的にはオフィシャルのGetting Startedに従っておけば動くのだが、進めていて一部詰まる箇所があったので、誰かしらの役に…

2024/6/4追記：勉強会（OTFSG #2）で以下の記事の内容を整理＋情報を追加した発表をしました。以下がその時のスライドになりますので、併せてご参照ください speakerdeck.com この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent C…

ポエム回です Chat GPTのリリースから1年が経った。多くの人にとって縁遠い存在であったAI技術は今や世間の関心の的となり、孫正義をしてまだChatGPTを使ってない人は「人生を悔い改めた方がいい」とまで言わしめるほどだ。当初はその実務的な有用性に疑問を…

この記事は著者であるRui Li氏の許可を得て翻訳したものです。 Original article: How Bilibili Builds OLAP Data Lakehouse with Apache Iceberg | by Rui Li | Medium. 文中の注釈は、訳者(@_Bassari)が読者の理解を助けるために付け加えました。 はじめに…

はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Part…

データプラットフォーム界隈の人々がコミケに技術本を出展しているのを見て、自分でも何か書きたくなってきた。そこで、世界最大級のオンラインゲーム企業であるRiot Gamesのデータ基盤がどのようにプレイヤー体験を支えているかについて、2022 AWS re:Inven…