何に活用されていてどんな事例がある?
ビッグデータの問題点を知っておきたい
こんにちは。文系出身で現役8年目エンジニアの佐藤です。
皆さんは「ビッグデータ」について、どんなものか説明できますか? 調べてみても、なんだか良く分からないなあ……と感じている方も多いのではないでしょうか。
この記事では「ビッグデータとは何か?」を、誰にとっても分かりやすい言葉と身近な例で解説していきます。また、ビッグデータの問題点やビッグデータを扱う仕事の紹介もしていきますので、ぜひ最後までご覧ください。
それではさっそく「ビッグデータの定義」から見ていきましょう。
ビッグデータとは?
この章では、ビッグデータの定義と、どんなものがビッグデータと呼ばれるのかを解説していきます。
ビッグデータの定義
ビッグデータという名前から「大きい? 多い? データなのかな?」と予想がつくかと思いますが、ビッグデータは単に大きいデータというだけではないんです。
ビッグデータの特徴には「4つのV」という要素があり、このVが含まれているものを「ビッグデータ」と呼んでいます。
- Volume 容量
ビッグというくらいですから、容量の巨大さが特徴のひとつです。現在の基準は数テラバイトから数ペタバイト程度のデータ量のものを指すようです。
- Variety 種類
構造化データ(CSVやDBに格納できるデータ)以外にもデータには種類があります。ビッグデータには音声、動画、画像、センサ情報などのありとあらゆる形式でのデータが含まれているという特徴があります。
- Velocity 頻度・スピード
交通系ICカードのデータ、SNSなど、リアルタイムで高速に増え続けるデータが格納されているという特徴もあります。
- Value 価値
上記で紹介した3つの特徴だけでビッグデータといえる訳ではありません。上記の特徴を持ち、分析することで経済的価値が生み出せるデータのことを「ビッグデータ」と呼んでいます。
簡単にまとめると「分析により経済的価値を生みだせる、あらゆる形式で増え続ける大量のデータ」がビッグデータです。
何となく概要がつかめたところで、ビッグデータの例を見ていきましょう。
ビッグデータの例
ビッグデータは大きく4つのジャンルに分かれています。
オープンデータ
オープンデータは、国や自治体などが所有している公共情報です。官民データとも呼ばれています。
2016年12月に施行された「官民データ活用推進基本法」に基づいて、ビジネスに生かす目的で開示を進めています。
このデータは、総務省が運営しているデータカタログサイトで簡単に入手することができるんです。活用例や、日本でのビッグデータの取り組みなども紹介されているので、興味のある方はぜひご覧ください。
⇒総務省:データカタログサイト
⇒内閣官房:官民データ活用推進基本法
ノウハウを構造化したデータ
企業・農業などのビジネスに関するノウハウをデジタル化した情報で、「知のデジタル化」と呼ばれています。
仕事に関するノウハウは人に依存していることが多いですが、それをデジタル情報化して誰でも確認できるようにしようという取り組みが行われています。
M2Mのストリーミングデータ
M2M(Machine to Machine)は、機械と機械がネットワークを使い直接情報の交換を行うことです。ストリーミングとは情報を取得しつつ、同時に再生する(見る)技術のことをいいます。
例えば、工場のいろいろな機器に取り付けられたセンサーからのリアルタイムなデータ、自動販売機の売上・在庫データがこのカテゴリに含まれます。
「知のデジタル化」と「M2M」を合わせて「産業データ」とも呼ばれています。
パーソナルデータ
最後に、個人の情報があります。名前などはもちろん、行動履歴などが代表的な例です。
特定の個人を判別できないよう加工された「匿名加工情報」もパーソナルデータに含まれます。
次に、どうしてビッグデータが急に普及してきたのか簡単に見ていきましょう。
ビッグデータが急に普及した理由
ビッグデータが急に普及した理由には、インターネットの普及や、あらゆるものがデータ化できる時代になったという要素もありますが「Hadoop(ハドゥープ)」と呼ばれる技術が登場したためと言われています。
Hadoopとは簡単に言うと、1台のパソコンではできないような大量のデータを使った計算・処理をたくさんのパソコンに分散させて処理させる技術です。
100問の問題を一人で解くより、10人で同時に10個ずつ解けばすぐ終わりますよね。それと同じことをパソコン同士でもさせられるようになったんです!
これにより、ビッグデータを取り扱うために高額な機器を買わなくても済むようになりました。気軽にビッグデータを利用することができるようになったため、急速に普及しているんですね。
この章では、ビッグデータの概要について解説しました。次に、身近な活用事例を見て理解を深めていきましょう。
ビッグデータの身近な活用事例
この章ではビッグデータを活用した身近な例を紹介していきます。
ソフトバンク
ソフトバンクでは、顧客の通信・電波状況、電波が悪くなった時間、場所などのデータを収集・分析し電波状況の改善に取り組みました。何とそのデータはひと月で1.9億件にもなるとか……。そのビッグデータを分析することで、次に建てる電波塔の場所を決定していったんです。
結果、電波状況は劇的に改善されました。つながりやすさNo.1と宣伝している時もありましたよね。
スシロー
スシローでもビッグデータが使われているんです。一体どこに? と思いますよね。実はお寿司が乗っている皿の中に情報を取得するためのICチップを入れているんです。
レーンを回っていく中で、「どの寿司」が「いつ」「どれくらい」食べられたのかというデータを自動で収集していきます。このデータとその日の天候や客層などを組み合わせることで、寿司ネタ毎の需要を予測していったんです。その予測に基づいて仕入れやレーンに流す量を調整しました。
結果、スシローでは食材の廃棄量が大幅に減少しました。ビッグデータを分析することで、無駄を無くした活用例です。
また、寿司がレーンをどれくらい回ったのかという距離も測定しました。「一定の距離を回った=鮮度が落ちてきた」と判断して、自動でレーンから外れるようにしたんです。つまり、店員の負担も軽減することに成功したんですね。
ホンダ
ホンダでは、会員が搭載しているカーナビから走行データを収集・分析することで渋滞改善に取り組みました。その過程で、注意が必要な道路を特定することができました。
会員からの走行データは毎月2億Kmになるようです。この中で急ブレーキを踏んだ場面や渋滞になりやすい時間、場所を分析しました。
この分析結果から、事故が起きやすい道路へ標識の追加などを行い事故を減らしたという実績があります。
自治体や観光地
企業以外にも、自治体や観光地がビッグデータを使った取り組みをしています。
石川県羽咋市では、衛星から水田の写真を撮影し集めました。これを分析することで、タンパク質がちょうどよく含まれるお米を判断したり、次の年のための施肥量を予測することができました。結果、研究したお米はブランド米として販売されるようになり、収益が増加しました。
また、城ケ崎温泉では温泉街にてスマホやICカードで決済できる仕組みを導入し、顧客に関するデータを収集しました。どんなお客さんが「いつ」「何人で」「どんなものを買っているのか」分析することで、的確な宣伝の仕方や効果的なイベントを企画することに成功しました。この結果、収益が改善したということなんです。
このように、ビッグデータは身近なところで使われ始めています。
メリットや活用方法が無限にありそうなビッグデータですが、まだまだ日本では発展途上な面もあります。ビッグデータの問題点も確認していきましょう。
ビッグデータの問題点
皆さんが一番心配しているのは
という事かと思います。日本では、まだデータの売買に関して国民が慣れておらず「プライバシーの侵害なのでは?」と反応してしまうこともしばしばです。
日本では、ビッグデータに関する教育や情報発信がまだまだ少ないというのが一つの問題点なんです。また、データを集める事に執着してしまい、適切に分析できていないという面も問題点としてあげられます。
さらに日本では、ビッグデータを扱える知識を持った研究者・技術者が全く足りていないという発表もされています。ビッグデータがあっても、分析ができなければ何らかの結果は得られません。
このように、日本ではビッグデータに関してまだまだ発展途上な面も多くあります。今後どのように発展していくのか、更に活用していくにはどうしたらよいのか考えるためにもビッグデータに関する基礎的な知識は持っていたいですよね。
次に、ビッグデータを扱う仕事を目指すメリットを紹介しましょう。
ビッグデータを扱う仕事を目指すメリット
ビッグデータを扱う仕事に就きたいと思っている人も多いのではないでしょうか? ここでは、ビッグデータを扱う仕事の将来性などについて解説します。
今後さらに需要が高まる背景や需要の高い業界
IDC Japanは日本のビッグデータ市場は、2022年には1兆5,617億3,100万円まで拡大するという予測を発表しました。また年間平均成長率は12.0%と2桁成長が続くと予測しています。
⇒bp-Affairs:2022年のビッグデータ分析市場は、1兆5,617億3,100万円まで拡大
このような理由から、今後ますますビッグデータを扱える人材の需要が高まるでしょう。
また世界的な調査会社であるIDCが発表したレポートでは、金融業(銀行・証券)を中心に、食品・医療・自動車・電機の業界でビッグデータ市場を牽引すると述べれらています。そのため、日本国内でも金融業を中心とし、色々な分野でビッグデータを扱える人材の需要が高まると予測可能です。
⇒Principle:IDC調査:世界ビッグデータ市場は2020年に20兆円規模に。日本は世界の約1.5%
ビッグデータを扱う仕事の将来性
今後企業において、今まで蓄積したビッグデータを分析し、その結果に基づいて経営戦略を立てることが当たり前になっていくでしょう。データアナリストなどのビッグデータを扱う仕事は、企業において需要なポジションを任される可能性が高いです。
このような理由から、企業の業績や経営に直結する仕事になるため、将来性の高い仕事だと言えるでしょう。
ビッグデータを扱う仕事は、「データアナリスト」、「機械学習エンジニア」、そして「データサイエンティスト」の3つがあります。次はそれぞれの仕事について解説します。
ビッグデータを扱う仕事
この章では、ビッグデータを扱う仕事について紹介します。
データアナリスト
データアナリストは、データの処理や現状分析をもとに、課題解決と提案を行う職種です。データサイエンティストと混合されやすく、業務範囲も共通する部分が多いです。
ビッグデータを活用するためには、データを収集するための環境構築、データの分析、分析結果から課題の明確化という流れで行います。データサイエンティストはデータ収集するための環境構築から関わります。
一方で、データアナリストはデータの分析から課題の明確化まで主に行います。このようにデータアナリストは、データサイエンティストに比べると、業務範囲が狭くなります。
データアナリストには「コンサル型」と「エンジニア型」の2つのタイプがあります。
コンサル型は、課題解決のために具体的な戦略の提案がメインの業務です。コンサル型のデータアナリストは、マーケティング会社やコンサルティング会社に所属しています。
エンジニア型は、商品やサービスの開発・改善のためにデータを提供することがメインの業務です。データアナリストを目指す場合は、どちらのタイプになりたいのか決めておく必要があります。
機械学習エンジニア
機械学習はAI(人工知能)を支える一つの技術です。
機械学習エンジニアは、「AI(人工知能)」「ビッグデータ」「ディープラーニング」の技術を活かして、データ分析を自動で行ってくれるようなシステムを作成し、新サービスの開発や現サービスへの結びつけを行うのが主な仕事です。
データサイエンティストと似ていますが、ビッグデータ「分析」のプロとビッグデータ分析システムの「開発」のプロという分類で違いがあります。
データサイエンティスト
ビッグデータを「分析」するプロは、データサイエンティストと呼ばれています。日本ではまだデータサイエンティストの定義があいまいな部分があり、職業として正しく認知されていないという現状があります。
データサイエンティストは、機械学習などを使いビッグデータを分析します。そこから何らかの結果をレポートにまとめ、場合によっては次のアクションを企業に提案するという仕事をしています。
ビッグデータを扱う仕事をするために取得したい資格
ビッグデータを扱う仕事に転職する際に、資格は必要ありません。ここでは受験勉強を通して、業務上必要な知識やスキルを身につけることができる資格を紹介します。
オラクルマスター
「オラクルマスター」は日本オラクルが実施している認定資格で、オラクル社が取り扱う「Oracle Database」を扱う技術力があることを証明できる認定資格です。
データ分析に使用するビッグデータはデータベースに蓄積されます。データベースに蓄積されたデータを抽出したり、分析したりするためにはデータベースに関する知識が欠かせません。そのためオラクルマスター資格を取得しておくといいでしょう。
⇒Oracle University:ORACLE MASTER
OSS-DB技術者認定資格
「OSS-DB技術者認定資格」は、公益社団法人エルピーアイジャパンが実施する認定資格です。取得することで、データベースシステムの提案から構築、運用に関する基本的なスキルと知識を有していることを証明できます。
難易度はさほど高くないため、データサイエンティストを目指すなら、取得しておくといいでしょう。
⇒LPI-JAPAN:OSS-DB技術者認定資格
統計検定
「統計検定」は、日本統計学会が実施する認定資格です。レベルは4級、3級、2級、準1級、1級の5段階です。
データサイエンティストに必要な分析力があることを証明するためには、準1級まで取得しておく必要があります。新たにデータサイエンスに特化した検定試験としては、2020年5月より「統計検定 データサイエンス基礎(CBT)」が開始される予定です。
そのためこれからデータアナリストやデータサイエンティストを目指す人は、データサイエンス基礎の試験からチャレンジしてみるといいでしょう。
⇒日本統計学会:統計検定
まとめ
最近よく聞くビッグデータについて、定義からビッグデータを扱う職種まで解説しました。
「結局何なのか良く分からない!」から、ビッグデータを扱うデータアナリストや、データサイエンティストなどの仕事に「将来なってみたい!」と興味を持ってもらえたら、嬉しいです。
それでは、次の解説で!