本書は,ビッグデータ時代にますます必要となる,データの組み合わせあるいは仮説の組み合わせによって新たな仮説を構築する方法を具体例とともに解説する。通信システムの向上によって,これまで以上に大容量のデータが高速(リアルタイム)で生成されるようになっている。さらにIoTデバイスなどの普及によって,実世界データ,ソーシャルデータ,オープンデータを含む多種多様なデータが得られるようになり,それらを同時に取り扱う必要性がますます大きくなってきている。しかしながら異なるデータをどう組み合わせれば有用な仮説が得られるかは必ずしも自明ではない。ましてビッグデータに人工知能などの最新技術を適用しても,自動的に仮説が作られるという保証はない。本書では具体的な事例とともに,ビッグデータを活用する応用システムのための基盤的技術となる統合的な仮説生成の方法を,データ分析(人工知能,データマイニング)とデータ管理(データベース)の技術を調和的に利用したアプローチに基づいて説明している。また科学史において,天文学・物理学の分野ではケプラー,ガリレオ,ニュートン,集団遺伝学の分野ではダーウィン,ゴルトン,ピアソン,メンデル,フィッシャーらの仮説生成の方法を辿りながら,その基本となる演繹,帰納,もっともらしい推論,類推,問題解決について学ぶことができる。さらにビッグデータを用いた仮説生成の方式として,複数の仮説間の差分,重ね合わせ,和分,結合の各方法についての具体例も詳述している。データサイエンティストやデータエンジニアを含め,広くデータ応用に関わる人や将来それらの職業を目指す学生に手にとっていただきたい一書である。第1章 基本概念1.1 5G時代のビッグデータ1.2 処理の高速化1.3 ビッグデータ応用第2章 仮説2.1 仮説とは何か2.2 仮説生成のヒント2.3 可視化2.4 推論2.5 問題解決2.6 身近な問題解決2.7 科学と仮説第3章 回帰3.1 回帰の基本3.2 回帰,相関から因果関係へ第4章 クラスタリングとニューラルネットワーク4.1 クラスタリング4.2 アーティフィシャルニューラルネットワークまたは深層学習4.3 統合的仮説生成第5章 差分による仮説生成5.1 仮説差分法5.2 時間における差分5.3 空間における差分5.4 概念空間における差分5.5 仮説間差分第6章 仮説間補完,仮説間重ね合わせ,そして仮説間和分6.1 概要6.2 仮説間補完6.3 モビリティサービスのための機械学習を用いた自動車の異常振動検知(仮説間重ね合わせ1)6.4 かぐやDEMを用いた,機械学習による中央丘クレーター識別(仮説間重ね合わせ2)