先週、Elasticsearch株式会社が主催する”Machine Learningワークショップ”に行ってきました。

５月の初旬に機械学習で異常検知を行う「Prelert」を、Elastic Stackに統合したので、「Prelert」の使い方が中心のワークショップでした。

※ワークショップという名目でしたが、ハンズオンなどは無くセミナーな感じでした

Elastic StackにMachine Learningが登場 | Elastic

また、Elastic Stackへの統合とともに、「Prelert」から「Machine Learning」に名称が変更になりました。

※Prelertは昨年Elasticsearch社が買収した企業（Prelert社）が開発していたプロダクトです

注目技術なこともあってか大盛況

”機械学習”という言葉は、所々で見たり聞いたりするようになりました。

かなり関心が高い分野ということもあってか、会場はほぼ満員。

Elastic Stackもメジャーなので納得な数。

教師なし学習

「Machine Learning」は、教師なし学習で異常検知が行なえます。

異常検知での教師なし学習とは、与えられたデータが異常か正常かを教えてあげる必要がない学習方式です。

正常値を自動的に学習し、そこから外れたものを異常として検知します。

当日のデモ

当日は、以下の記事の内容についてデモが行われました。

ニューヨーク市のタクシー乗降データでMachine Learningを体験する | Elastic

ニューヨーク市でのタクシーの乗降データから、乗車人数や支払金額の異常を検知していました。（通常時より乗車人数が少ない、支払金額が多い・・等）

まとめ

膨大なデータから、異常値を人の目で判断するのは現実的に不可能です。

※見逃してしまう、明確な閾値の定義ができない、そもそもデータ量が多すぎて見れない

「Machine Learning」を使えば、比較的簡単に異常検知を行うことが出来ます。

今まで不可能だったことが技術によって可能になることは、本当に凄いし、素晴らしいことだと思います。

自分もElastic Stackを使った、ファイアウォールログを可視化・解析するシステムを開発・運用しているので、「Machine Learning」を適用できることを模索していきたいです。

「Machine Learning」は３０日間は無料で使用できるので、興味がる方は自分の持っているデータで試してみると面白いかもしれません。
※３０日以降はサブスクリプションを購入する必要があります

当日の資料がアップされていました。