datatech casual · 2022.11.01
Airflow2 にupgradeした事例紹介
Airflow 1.10.15 / Cloud Composer 1 から Airflow 2.2.1 / Cloud Composer 2 へ、daily job を止めずにupgradeした事例。SubDagOperator → TaskGroup 移行と並走デプロイ
Currently writing Rethinking solutions
Rethinking solutions
for the AI era.
Reiji Kainuma (@reizist) — software engineer in Tokyo.
データを使ったプロダクト・事業スケールに興味があります。
- Google Cloud
- BigQuery
- AWS
- Data Engineering
- Product Development
- LLM
- Ruby
- Go
Featured / 01
// the most recent long-form piece
Engineering / 02
// data, reliability, and the in-between
ブラウザ DuckDB-Wasm で爆速個人 BI ─ 日本株データを例に
日本株の日次価格データを BigQuery に蓄積、 Parquet で書き出してブラウザ DuckDB-Wasm で集計する実装。 サーバ不要・0円運用・SQL で集計ロジックを表現できる。 記事内に動くデモ (chart + AI chat) を埋め込んだ。
· #duckdb ↗
ブログ環境を Hugo+GitHub Pages から Astro+Cloudflare Pages へ作り直した
· #astro ↗
GCP上でIAMキー無しでAWSコマンドを叩く方法
AWS Security Token Service(STS)を使って、GCPのservice accountから一時的なAWS認証情報を生成し 実質service accountがAWS IAMのように振る舞うような状態にする。
· #engineering ↗
Life / 03
// coffee, gadgets, and other detours
Slides / 04
// selected talks and decks
