IoTでデータを活用する
IoTシステム技術検定基礎を受験するにあたって、過去問や問題集がなく、一問一答を作りながら勉強すれば一石二鳥！と思い立ち上げました。
是非ご参考にしてください。
使い方はこちら↓
使用している本は公式の参考書となっている
「IoT技術テキスト 基礎編 改訂3版 MCPC IoTシステム技術検定［基礎］対応」
です。
IoTでデータを活用
ビッグデータを効率的に分散処理・管理するためのソフトウェア基盤のことでASF(Apacheソフトウェア財団)が開発・公開しているオープンソース
Hadoop (ハドゥープ)
Hadoopの後発のビッグデータ処理のソフトウェア基盤
Apache Spark
単に集計・分析するだけではわからなかった統計的な手法を使うことによって隠れたパターンやルールを発見すること
データマイニング(DM:Data Mining)
企業内のデータを使ってビジネス上の意思決定に利用するデータ分析
BI(ビジネスインテリジェンス)
クラウドでデータ処理をするのではなくIoTデバイス周辺でデータ処理の一部を行うスタイルのこと
エッジコンピューティング方式
データ分析とアプローチ手法
データ分析を進める手法のPPDACのうち1つめのPは？
Problem（問題・課題)
データ分析を進める手法のPPDACのうち2つめのPは？
Plan（計画）
データ分析を進める手法のPPDACのうち3つめのDは？
Data（データ収集）
データ分析を進める手法のPPDACのうち4つめのAは？
Analysis（データ分析）
データ分析を進める手法のPPDACのうち5つめのCは？
Conclusion（結論）
問題・課題→仮説→データ→分析と樹木図にまとまっている図のこと
イシューツリー図
確率と統計
統計を用いて分析を始めるためにはまず平均や分散、標準偏差などの統計学で使用する基本的なデータである～を出すことから始める
基本統計量
データをグルーピングして棒グラフを描き、頻度を見るグラフ
ヒストグラム
平均値と標準分散を用いてばらつき具合を確率モデルに当てはめて表現する手法
正規分布
平均値と標準偏差からある値が発生する確率を導くExcelの関数
NORM.DIST(検索値,平均値,標準偏差,true)
相関と回帰
変化する２つのデータをx-y軸でプロットしたグラフ
散布図
一方の値が増えるともう一方の値も増えること
正の相関
一方の値が減るともう一方の値も減ること
負の相関
Excelで相関係数を算出する関数
CORREL(コリレーション)関数 ±0.7以上で相関関係が強いといわれている
相関関係が強いとＡが一定の値増えるとＢも一定の値増えるという予想がたてられるようになるような分析
回帰分析
1次方程式で予測値を描く直線のこと
回帰直線
一般的に相関関係が「ややあり」と判断される相関係数の範囲
±0.7～±0.4
一般的に相関関係が「弱い」と判断される相関係数の範囲
±0.4～±0.2
一般的に相関関係が「ほとんど相関なし」と判断される相関係数の範囲
±0.2～0
統計と機械学習
国勢調査で行っているようなすべてのデータ(母集団)を集めて特徴を説明する統計学のこと
記述統計学
テレビの視聴率のようにすべてのデータではなく一部のデータで統計をとること
推測統計学
機械学習のうち画像や動画から文字や顔などのオブジェクトから特徴を認識し検出すること
画像認識
人間が日常に使っている言語をコンピュータに処理させる技術のこと
自然言語処理
機械学習とは
機械学習の手法を３つ
教師あり学習、教師なし学習、強化学習
教師あり学習では正解データを覚えさせて～を作成する
学習モデル
強化学習では試行錯誤を行いながら環境の変化と得られる～を観測しながら学習する。
報酬
深層学習とは
脳の神経回路をモデル化したもの
ニューラルネットワーク（入力データ→入力層→隠れ層→出力層→出力データ）
順伝播型で画像認識でよく用いられるニューラルネットワーク
畳み込みニューラルネットワーク(Convolutional Neural Network)
音声など時系列データの学習で用いられるニューラルネットワーク
再帰型ニューラルネットワーク(Recurrent Neural Network)
米国カリフォルニア大学バークレイ校で開発されたディープラーニングのライブラリ
Caffe(カフェ)
Googleによって開発されたディープラーニングのライブラリ
TensorFlow(テンサーフロー)
Facebookによって開発されたディープラーニングのライブラリ
PyTorch(パイトーチ)
深層学習の適用例
顔認識システムを構築する際の学習フェーズでは～と～の2種類のデータを準備する
学習用データ、評価用データ
画像処理を行う主要なコンピュータ部品の一つ
GPU
学習用データに特化したパラメータが学習されてしまい、未知のデータに対してうまく予測できなるなること
過学習
合格体験記はこちら↓
コメント