『ビッグデータを支える技術―刻々とデータが脈打つ自動化の世界』を読んだ感想

会社のデータエンジニアの諸先輩方から熱くオススメされていたので読んでみました。

※ちなみに、2020/6/1に弊社の新人も本書の書評を書いています。

以前読んだ『ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書』では、タイトル通りビッグデータ分析に関する話題を広く扱っていましたが、本書ではデータ処理をどのようにシステム化するかの説明に特化しています。
(BIやMLサービスによる意思決定のサポートといったデータの活用方法についての説明はありません。)

キヨシの命題

『ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書』を読んだ感想

https://yolo-kiyoshi.com/2019/11/30/post-1547

つい先日、データエンジニアの方と「データサイエンス組織はプロダクトの開発でどこまで責任を持つべきなのか」という話をする機会がありました。組織が大きくなり、エンジニアリング/サイエンスの分業が進んでいるからこそ、その境目に関しての議論が出てくるのでしょう（おそらく今後も）。その際、データエンジニアの仕事、ひいては、データ分析/機械学習プロダクトの開発や運用の全体像をきちんと把握していないと、実りある議論ができないと思ったので、書店で平積みされていたこの本を読んでみました。以下、簡単に感想をまとめ...

私のようなデータサイエンティスト/アナリスト職種の方にとっては、データエンジニアの方が具体的にどういった業務を行なっているのかを知る機会はほとんどないと思います。
（そもそも知ろうとするモチベーションがなかったりします。）
ですが、本書を読んだことで、私たちが普段何気なく業務で利用しているデータマートがいったいどのようなプロセスを経て作られているのか、その全体像を把握できました。

今後は5Gの普及によって、リアルタイムでのデータ処理（ストリーム処理）の高度化にますます期待が高まっていくことでしょう。

AIプロジェクトをPoC（概念実証）で終わらせるのではなく、システム化して継続的に改善していくためには、安定的なデータ基盤を構築するためのデータエンジニアリングが必要不可欠です。
データエンジニアリングは今後ますます注目されるスキルなので、引き続き、頑張ってキャッチアップしていきたいと思いました。