ビッグデータ戦略について語り合おう まずは自己紹介
横井：今回のテーマはマイクロソフトのビッグデータ系ワークロードについて、率直に利用する側としてのご意見を伺う、ということです。マイクロソフトでは Azure Data Lake や Azure SQL Datawarehouse、HDInsight (Hadoop)、Databricks (Spark) など、高度なデータ分析系のソリューションがあるものの、普及の余地はまだまだあると思っているからです。ただ、これは弊社だけの傾向ではなく、総務省のデータ活用調査などからも、日本のお客様において、データ分析をビジネスでどう生かしていくかという点に課題があるということの現れでもあると考えています。そこで、本日は実際に長くデータ分析や、データにまつわるビジネスに携わってこられた方から、データをこれからどう生かしていけばいいのか迷っていらっしゃる方や、何となく使っていて困らないものの、これでよいのだろうか？と漠然と考えていらっしゃるような方々にヒントとなることを話していただけたらと。
まずは皆様、簡単に自己紹介からお願いします。
網野：ギックスの網野です。事業会社の経営企画、戦略コンサルファーム、IT企業でビッグデータを経験して5年前に起業しました。データやアナリティクスと言う武器を使って企業の競争力強化を支援しています。クライアントのデータを預かり、分析と活用方針を試行錯誤し、データ利活用がクライアントの競争力強化に寄与するとわかったら、仕組み作りとして岡さんのところにバトンタッチしています。
岡：ゼンアーキテクツの岡です。網野さんが前工程で、うちが後行程です（笑）。2003年に設計事務所を立ち上げ、時代に合わせたベストの設計を提供しています。やりたいこととできることのギャップをテクノロジーで埋めるのがうちの会社です。非現実的な要件ほど大好物。無理と思えても、きちんと設計すればたいてい実現可能な世の中になりました。最近ではデータは巨大で当たり前。1ペタバイトのデータを持つ会社も出てきました。これを1Gbpsのネットワークで転送しようとしたら理論上は数千時間かかります。遠からずそんな課題が生じるのではと思います。
高木：日本マイクロソフトの高木です。カスタマーサクセスユニットと呼ばれる部門に所属している、クラウドソリューションアーキテクトです。データをIoTやAIで活用してお客様を成功に導くのがミッションです。一緒にアイデアを出し合ったり、プロトタイプ作ったり、あるべき姿を描いています。現在はグローバルなお客様を担当することが多く、どこにリポジトリを置くか、どう使うかが課題だと感じています。
横井：日本マイクロソフトの横井です。14年ほどマイクロソフトのデベロッパーサポート部門で下は Windows Media、DirectX などデバイス ドライバから Active Directory、ID 管理系 API、そして ADO.NET などのデータ アクセスのサポートを経験してきました。コード書くのが好きな開発系の人でしたが、2年前からご縁があって、Data Platform の製品マーケティング部門に在籍しています。
かつてロックフェラーが石油を握り、世界の覇権を握ったように、これからはデータがビジネスの潤滑油になると思っています。情報に意味を持たせるには、データが使えること、集約して料理できること、つまり意思決定できるように、可視化できるレベルにもっていくことが大事ですが、まだ壁が高い。この壁を壊したいと思っています。
下手するとマーケティング・オートメーションが「嫌がらせ促進ツール」に？ やりたいことが先、テクノロジーは後にあるべき。
横井：総務省が毎年出しているデータ活用の実態を見ると、2017年インターネットに接続しているデバイスは490億。流れるデータのほとんどは動画。データ量は2年でおおよそ2.7倍ほど増えています。そろそろネットワークで渋滞が始まってしまいそうです。「データをためましょう」とはよく言われますが、転送の課題についてまだ多くが意識していなさそうですね。
岡：設計屋としては一番気になります。帯域とか内部の動きとか。いま始まった話ではなく、昔から「性能が出ない」と言われて、見ると「こんなクエリーではそりゃ（性能は）出ないよね」と。
横井：まさかのフルスキャン (テーブルの範囲にあるレコードをすべて読み込んでいく非効率な動作。どうも遅いと思ったらなぜか全レコードをチェックしていた！！といったことは割とある話) とか。なぜそんなことが起こってしまうのですかね。
高木：動いちゃうから？でしょうか。
岡：内部でどのような処理をしているか、ステップが想像できないからですね。方程式をただ暗記して解くような。マイクロソフトさんも内部はどんどん公開したほうがいいですよ。わかっている人が使わないと広まらないですから。
横井：ブーメランのようにかえって来ちゃいました。網野さんはどう思われますか。
網野：コンテンツサービスはデータを流すのがビジネスだから、サービスのデジタル化によりデータが増えるのは自然な流れだと思います。フルデジタルデータ化時代に考えたいのは、データ活用をしようとする日本企業の姿勢です。データ分析する前にまずはストラテジーから入らなくてはならないというのが私の立場です。日本においては人口減少と人口構造変化は確定未来になっています。それなのに、かつての右肩上がりだった時代と同様に、「それいけどんどん新規獲得！」で良いのか？ 既存顧客を大事にする時代ではないか？ と、問うべきだと考えています。
横井：確かに。
網野：既存顧客と言う観点で、最近はMA（マーケティング・オートメーション）の相談を受けます。MAって名前が悪いですね。「マーケティングをオートメーションしてくれる」と勘違いする人がいます。しかしこれはあくまでもメール配信の自動化ツールです。これまでメルマガは手作業だったから週1回配信が限界でした。しかしMAで自動化できたとしても、中身がないメールを毎日配信したら顧客はうんざりしてしまいます。クライアントには「顧客の立場になって考えてください」とよく言っています。「MA導入でジャンクメールという嫌がらせの頻度を上げたいのですか？かえって既存のお客様が離脱してしまいますよ」って。
横井：「嫌がらせ」にツボってしまいました（笑）。
網野：「売りつけて単価を上げる」発想では間違った方向に進んでしまいます。本来情報とは顧客が受け取ってうれしいものであるべきです。人間の時間は有限なので、自分の好みに合うものをリコメンドしてくれたらうれしいですよね。旅行だと、目的地や宿泊先を選ぶことも旅行の楽しみととらえる人もいますが、ぼくは休みに入ったら休むことに集中したいタイプです。だからぼくの趣味にあう旅行先とホテルをレコメンドしてくれたら押し売りではなく、ありがたい情報になります。適切なメッセージ、適切なクリエイティブ、適切なインセンティブ、適切なタイミング、適切なチャネル、本来リコメンデーションエンジンやMAツールは「いい情報をありがとう。それなら買うよ。」を提供すべきなのに、下手すると嫌がらせ促進ツールになってしまいます。
岡：ECサイトでも購入後に購入した製品の広告が出ますね。もう買ったから要らないのに。
網野：顧客理解が進み「こういう情報を送るといい」とわかったとしても、配信頻度は月に1度でいいかもしれません。ではMAは何のためにあるか。例えば顧客が100万人いて、細かくセグメンテーションしたら20万通りになったとします。20万通りを手作業でやるのは大変です。だからその後の手作業を効率化させる自動化ツールが必要だとなるわけです。やりたいことが先にあって、テクノロジーは後にないといけません。
横井：まさしく。
「フェイルファスト」安く、早く失敗して迅速に改善するサイクルを確立すべき
網野：本来ビジネスで「やりたいこと」と、「テクノロジー」の順番を間違えると大変なことになります。「分析システムに投資するには見合ったリターンがないと」から始まると、架空のリターンを机上で描くことになります。一昔前のバカ高い情報系の投資金額から架空のリターンを作ると、リターンを得るために余計な機能が増え、全部署で共通で使うとか言い出し、それで開発コストが増え……という悪循環に陥ります。
岡：フェイルファスト。安く、早く失敗できることがすごく重要です。かつては古くて高いシステムを購入して、「ご本尊」のようにお守りして。高い投資のリターンをとらないといけなかった。だから、時間をかけて架空の「何か」を作り上げてしまう。しかも、失敗できないから身動きがとれないという悪循環が生まれていました。
クラウド時代が到来することにより、いまやっと、この悪循環を断ち切れる時代になりました。
網野：昔のBIツールって画面を作るのが大変でした。少し画面を変えるだけで数千万円追加コストがかかってしまうことだってあります。でも、世間からは「たかが項目を一つ二つふやしただけではないか」、ぼったくってると思われがちですが、本当に工数をかけたグローバル企業なら億単位の投資は珍しくはありません。
まず、どんな情報が見たいかをまず経営者にお伺いをたてると、みなさんそれなりに「こういうのがほしい」と答えてくれます。億単位の投資だと失敗できないので、何十人ものコンサルタントが各部署各担当にインタビューして入念に仕様を決めて、時間をかけて開発して、1年半後にできあがったものを見せたら「えっ、こんなの欲しいって言ったっけ？」と言われてしまう。ビジネスサイドから見ると簡単な変更でも、データの持ち方、グラフの表現の仕方など場合によってはゼロからやり直し。そして現場では徹夜が続いてエンジニアが倒れていくんです。
横井：リアルだ……。
網野：こうしたアプローチが変えられる時代になった。今なら全件データを先に預かり、実際に分析して「社長のリクエストはこういうことなんですけど。これが本当に役に立ちますか？」と見せれば「いや、ここはこうしてほしい」と修正がききます。分析の頻度も同じです。例えばクライアントは気軽に「リアルタイムで分析がしたい」と言いますが、それを信じて愚直にリアルタイムを実現するとシステムコストが何倍にも跳ね上がってしまいます。実務的には1時間でも1日でも十分かもしれません。プロトタイプがあれば、実務で使いながら本当に必要な仕様を決めることができます。これはマイクロソフトさんはじめ、クラウドなどの今の技術の進化で得られた恩恵です。ビジネスでもシステムでも失敗できることは重要です。岡さんが言うとおり、フェイルコストが限りなく安くなりフェイルファストが可能になることがクラウドのメリットですよね。
岡：「とりまわしを軽くしましょう」とよく言っています。これはシステムもデータもプロジェクトもです。かつて失敗は厳禁でしたが、「これってだめなんだ。よく見つけてくれたね。ありがとう」といえるようになりつつあります。
横井：PDCAのPに何年もかけたら、Dが「なぜこうなった？」。いつの間にか目的を見失った感がシュールでカフカみたい。でもよくあるし、自分も昔経験あります…
高木：時間がかかると元の担当者がいなくなったりします。
岡：規模が大きくなると組織も大きくなります。
横井：サグラダ・ファミリアのような……。
岡：「かつて1年でやろうとしていたことを2週間でやろうよ」が今なんです。クラウドになり、今は並列処理できるので性能もかけ算で増やすことができます。「失敗しちゃいけないから、新しい技術なんてもってのほか。みんなが知っている技術でないと」だとテクノロジーの進化や恩恵が受けられなくなります。
その「ご本尊」と固定費、本当に必要ですか？ 最新技術なら2桁下げられるかも……
横井：SQL Serverでもサポートが切れる直前の「枯れたもの」が好まれたりします。しかし今のSQL ServerはPaaS の Azure SQL Databaseであらかじめプレビュー、その後 GA （General Availability、一般公開を指す）後じっくり運用を経験したバージョンのソースをバックポートしているので、実はすでにリリース時点で十分枯れているのです。昔は「使うならSP3からだよね」と言われていましたが、今は違うんです。
おそらく他社さんでもそういうイメージなのでしょうね。高くて大きなハードウェアを購入して……。
岡：よく「ご本尊」とか言いますね（笑）。
網野：昔は大変でしたよ。約10年前、コンサルティングで入った案件でありました。まだクラウドのデータウェアハウスサービスもなく、ぼく自身はまったく技術に詳しくなくて。試しに分析したいけどマシンがないのでベンダーに「箱を貸してください。うまくいったら売れますから」と交渉して借りることができました。後から「船便で出荷されたので後2ヶ月で届きます」と言われてびっくり。
岡：すごいレイテンシーだ。
網野：当初は箱が届いたらオフィスに置くつもりでした。しかし電源は240V、空冷が必要と分かり、置く場所がないので再びベンダーに行って「置く場所を貸してください」と頭を下げて。さらにその箱を扱える人がいないと気づき、人もつけてもらうことになり。ほんの実験のつもりだったのに2億円規模の話に膨らんでしまって。
横井：ちょっと実験するつもりが2億円！
網野：今は同じことが3～5万でできてしまいます。電源工事も空冷も土下座も2億円も要りません。
（一同笑）
網野：うちのビジネスも昔なら大量の投資が必要でしたが、クラウドのおかげで大規模投資の必要がなくなりました。
横井：企業なら、クラウド サービスに移行すれば、その分固定資産が減りますから、企業価値が高まりますよね。こういうことを経営者はもっと知るべきでは。日本は固定費が多すぎるという指摘があります。実際公開された財務諸表を見ると、その指摘はあながち誤解でもないな、と思ってしまいます。
岡：競争力を削いでますよね。日本は固定費をかけすぎです。ある事例では1つのWebシステムあたり、ハードウェアから人件費まで、年間で2億円の運用費がかかっています。今のテクノロジーなら2桁は下げられます。その分、戦略的な投資に回せます。ほかも月に数千万円のコストをかけて「うちは規模が大きいからできる」というのですが、そういう問題じゃなくて。
横井：もったいない。上場企業だとIRで見られますよね。固定費の使い方次第では評価を下げて競争力を削ぐことになるのでは。
岡：それで話が元に戻るのですが、目的を絞るのが重要になります。テクノロジーは最新が最善。数億円規模の投資でも、最新技術なら数桁下げられるかもしれません。なのになぜか大事なところは「えいやっ」と決めてしまうんですよね。
横井：大事なところほど定量的ではなく、定性的。悪く言えば「ふんわり」「何となく」感が付きまといがちです。これはなぜなんでしょうね。
岡：「失敗しちゃいけない」が前提だからじゃないですかね。ワンチャンスしかないから、データもテーブルも膨らんでいく。
高木：ステークホルダーが増えると、調整が進まなくなりますし。
横井：網野さんがおっしゃるように、プロトタイプでコンセンサスとるのはいいと思います。今なら実データが使えて、すごい説得力がありますから。
岡：そうなんですよ。紙の絵では響かないんです。
ご本尊は不要。必要な時だけ分析結果を出せればいい
横井：ビジネスにおいて、正しくビッグデータを活用いただくことを実現するにあたり、いま足りないものは何でしょうか。
岡：PaaSの恩恵は最大限に生かしたいと考えています。目標としてはNoOpsで運用レス。データの観点から見ると、PaaSだとインフラの複雑な部分はクラウド側に任せられるので、とりまわしが軽いまま帯域を広げられるという利点があります。
横井：これからは Azure Container Service (AKS) など、コンテナの利用が広がりそうです。
岡：データ分析とコンテナは特に相性がいいと思います。いろいろと試せますから。あと継続的に使うことを考えると、世代管理も重要です。特にAIだと、過学習してしまった時に前のバージョンに戻す必要があります。それが可能かどうかは重要です。
横井：いまマイクロソフトはクラウドサービスを増やしていますが、ストーリーが見えにくいのかなというところが反省点かなと思いました。網野さんからは何かありますか？
網野：分散と集中って揺れ動きますよね。ビジネスでも技術でも。かつては「ご本尊（大型システム）」があったから、上にのせるシステムは極力共通化する必要がありました。クラウド時代の今なら個別最適でもいいと思います。
横井：NoOpsについてはどうですか？
網野：実際に岡さんたちに作ってもらっている仕組みがまさにNoOpsです。ぼくたちはクライアント企業の研究開発部門のような存在です。一時的にデータを全て預かり、分析します。「これいいじゃん」となれば、今度はクライアント企業でデータ分析の工場（プラットフォーム）と生産ライン（分析結果を出すもの）を作ります。NoOpsだと必要な時だけ生産ラインが自動で作られ、処理が終われば自動で生産ラインが消えていきます。
岡：データ分析にコンテナやサーバーレスはとても相性がいいです。新しい部品が出たらそれを使った環境をすぐ構築できますし。また電源入れっぱなしではないのでメモリリークも起きません。いわばご本尊がなくても、「パンパン」と手をたたけば神様が生産ラインを作ってくれます。分析結果が出たら神様が「さらば！」と消えていくみたいな。
網野：実際には決まった時間に駆動するので、パンパンと手を叩いて神様を召喚するところも自動化されてますよ。
横井：知らない間に全て終わってて、ごんぎつねみたいですね。「ごん、おまえだったのか！」
高木：本当にIT担当者はいないのですか？
岡：運用のインジケーターで問題がないことを確認する程度ですね。サーバーレスだとハードウェアを固定するがゆえのシステムトラブルはありえません。システムが上がらなかったら別のリージョンで立ち上げればいい。……という世界を目指すべきだと思います。
横井：サーバーレスは「ご本尊は要らない」という話だと理解しました。
岡：あとロックイン。かつてはポータビリティがなくなるからロックインが嫌われていました。しかし今は数億件だろうと、データ移動は難しくありません。ソースコード以外にロックインはないと考えていいでしょう。それに今の顧客は「このベンダーはロックインしようとしている」と感じ取ると逃げます。ここ数年で価値観が変わってきています。
横井：お客様がベンダーロックインを避けたいとはいえ、それが特定の製品、クラウドを選ぶ理由にはならないと思うんですよね。私たちとしては、お客様が何にデータを使いたいかに意識を向けていこうと思っています。ぜひ、まずは使って試してもらいたいです。
岡：技術選定を考えると、既存技術との親和性が選択につながると思います。入り口に親和性、プラスしてやりたいことにフィットする特徴があるとよりいいと思います。
横井：最近だと認証が決め手になって、弊社のデータ系ワークロードが採用されたケースがありました。そのお客様は「Azureならシングルサインオンが簡単にできるから、他社 SaaS や、データベースなどとの連携のための ID 管理を自分でやらないといけないと思っていたが、Azure AD とフェデレーションに思い切って認証を任せてしまうことで、本当にやりたいデータ回りのことに集中できる」とのことでした。マイクロソフトの強みは、ビッグデータ以外にも認証基盤 (IDaaS)や、Power BI などの可視化までそろっていること。データ以外のことにお悩みの方、是非一度触ってみてください。実はシンプルに取り回しよくまとめられるヒントになるようなアイデアがわくと思います。
さて、そろそろ締めようかと思います。今、マイクロソフトではお客様の声に耳を傾けることが最も重要だと考えています。特に開発部門はConnectというフィードバックが寄せられるサイトに目を通すことを徹底しています。それで製品がどんどん変わっているんですよ。日本語で書いてもちゃんと届きますので、ぜひ要望をどんどんお寄せください。本日は皆様、率直なお話をいただきましてありがとうございました。
