(Bluemix)知ってた？dashDBってTwitter分析にもツカエルのさ(＋ちょっとだけコンサドーレ調べ)

もう、タイトルのままなのですが、思っていたよりも簡単で驚きました。
Bluemixが使える状態になっていれば、統計やデータサイエンス等の特別な知識不要で、どなたでも出来ると思います。

最後にローカル環境のRで数行のコードを走らせていますが、下記のようなアウトプットが簡単に作成できます。

 ※本エントリーは、私、小田一弥が一個人として勉強を兼ねて記載したものです。私の勤務先である日本アイ・ビー・エム株式会社の見解・見識ではない、個人としての記載内容としてご覧ください。 　

手順のご紹介

Bluemixの登録方法と「dashDB」「Insights for Twitter」両サービスの設置等については、既に様々なエントリーで紹介されているので割愛します。
特に両サービスともBluemix上での設置はガイドに沿ってボタンを押すだけなので、初見でも迷うところは皆無でした。

ちなみに、今回使用しているBluemixの各サービスは無料プラン内で充分遊べますので、出費など気にせず遊んでみてください。


１．「dashDB」と「Insights for Twitter」を設置済みの状態からスタート
Bluemix上で「dashDB」と「Insights for Twitter」を設置した状態から説明をスタートします。
他のエントリー等を参照しながらトライしてみてください。Qiita等にあるエントリーがわかりやすいと思います。

２．「dashDB」をオープン
「dashDB」右上の「OPEN」ボタンを押してください。

画面左側メニューから「Load＞Load Twitter Data＞」を選択してください。

「Use an exising Twitter service:」のプルダウンメニューで事前に設置した「Insights for Twitter」のサービスを選択してください。

３．検索したいTweetを指定
今回は、当ブログでも何度か分析対象として取り上げている「コンサドーレ」について調べてみます。
ハッシュタグで「#consadole」 と書かれたTweetは「38,271件」検索可能なことがわかります。

４．テーブルで識別するための名称を記載
「Load the data into new tables with this prefix:」欄で、「consadole」と入力すると、 各カラム名称が動的に変更されます。

５．Tweetデータのロード開始
前の画面の「Next」ボタンを押すと、下記画面のように「dashDB」上にTweetデータをロードし始めます。今回は件数が多いので結構時間がかかりますが、数千件なら数分で取得できると思います。

６．「Statistics」の表示
Loadが完了すると、下記のような統計情報が一覧表示されます。

下記は「#consadole」を含むTweet件数の時系列グラフ。 10分の1サンプリングがかかっているので全件数ではないですが、それでも今年はJ2で一位(2016年7月31日現在)となっている同チームが話題化していることがわかりますね。

また、その他のハッシュタグを含むグラフも出力されます。

その他、下記のようなデータも出力されます。

７．「Data」の表示
「Statistics」の横にある「Data」をクリックすると、ローデータの操作も可能となります。

テーブルメニューバーにある「↑(ダウンロード)」ボタンを押すと、ローデータがダウンロードできます。

８．日本地図上にTweetをプロット
GPS(位置情報システム)をオンにしたままTweetすると、その時に発話された経度・緯度が付加されます。今回はTweet総数がそれほど多くなかったので、190件ほどしか位置情報を取得できませんでしたが、とりあえずR言語でプロットしてみました。

ちなみにRのソースコードはこちら。
「leaflet」というRの描画用パッケージなのですが、たったこれだけでプロットできちゃいます。
radiusオプション、colorオプション、weightオプションはお好みで変えてください。

library(leaflet)
consadole_lat_lon.dat <- read.csv("consadole_lat_lon.csv",head=TRUE)
View(consadole_lat_lon.dat)
leaflet(consadole_lat_lon.dat) %>% addTiles() %>% addCircles(lng=~lon,lat=~lat,radius=100,color="#09f",weight=5)

その他、Tweetのテキストも取得可能です。Freeプランでも500万Tweetまでは無料で取得できますので、御興味ある方は是非試してみてください。

（おまけ）
「#ポケモンGO」でつぶやいた方々のマップはこちら。

R言語関連のエントリー

RMeCabで形容詞の形態素解析をやってみた。
http://sapporomkt.blogspot.jp/2016/07/rmecab.html


【R言語】leafletで札幌市内のサツドラをプロットしてみた。
http://sapporomkt.blogspot.jp/2016/01/rleaflet_4.html

【R言語】今年は、leafletでマップをグリグリしたい。
http://sapporomkt.blogspot.jp/2016/01/rleaflet.html

【R言語】factor型で数値を集計するときの注意点
http://sapporomkt.blogspot.jp/2016/01/rfactor.html

【R言語】ベクトルにおける関数の使い方
http://sapporomkt.blogspot.jp/2015/12/r_80.html　

【R言語】「rpivotTable」パッケージが高機能過ぎて泣ける件
http://sapporomkt.blogspot.jp/2015/11/rrpivottable.html

【R言語】どうしても「ディープインパクト」全産駒の内訳を集計したくなったの＜前処理編＞。
http://sapporomkt.blogspot.jp/2015/10/r.html　

AEIが優秀な種牡馬を調べてみたら・・・やっぱりディープ（略）
http://sapporomkt.blogspot.jp/2015/10/aei.html

過去5年間のリーディングサイアー成績を眺めてみた～ディープインパクトって実際・・・
http://sapporomkt.blogspot.jp/2015/10/5.html

(R言語)readHTMLTable関数でJ2の順位を音速で抜き出す。
http://sapporomkt.blogspot.jp/2015/07/rreadhtmltablej2.ht

いま話題のIBM「Bluemix（ワトソンくん）」が「老人と海」をサマったら。

　先日、オラクルさんから同社クラウドサービスに関する賞を頂いたこともありまして、んもー、クラウド系の技術に興味しんしんです。

日本オラクル「POCO」コンテスト受賞しましたっ！！
http://sapporomkt.blogspot.jp/2015/11/poco.htm


＜2016年1月15日（金）＞
「IBM Analytics Japan」の公式アカウントさんにご紹介頂きました！

「Bluemix」とは？

 IBMが提供するクラウド・オファリング（課題解決メニュー）です。
同社のオープンソースPaaS(Platform as a Service) である「Cloud Foundry」をベースにしています。

　高度なインストール方法を知らずとも、ノンプログラミングでクラウド上にWEBアプリケーションを構築することが出来ます。そして、この中では、あの「Watson（ワトソンくん）」と対話することも出来るのです！

IBM Bluemix - Japan

「Watson（ワトソン）」くんに、お仕事をお願いしてみた。

＜今回やったこと＞

・BlumixのサービスAPIである「Personality Insight」をCloud上に設置。
・上記にA・ヘミングウェイの「The Old Man and the Sea（邦題：老人と海）」の英語全文を読み込ませました。

＜作業工程と結果＞

実は先日、札幌市内で開催されたIBMセミナーにてBlumixのデモを拝見しました。わずか数分で、iPhoneの湿度センサーを利用したアプリをノンプログラミングで作成された様子を見て感化されちゃいました（笑）

　
　それでは早速やってみましょう！

 １．「Bluemix」にログイン

 　「Bluemix」を使う前に、「IBM ID」を取得する必要があります。登録はとても簡単で無料です。
ただ、ＩＤ申請してから指定したメールアドレスにメールが届くまで数分のタイムラグがあるようです。
気にせず、ゆっくり待ちましょう。

　「IBM ID」が取得出来ましたら、画面右上からログインしてください。

 ２．「サービス&API」をクリック

「Cloud Foundryアプリ」「仮想マシン」「サービス&API」が表示されますので、「サービス&API」をクリックしてください。画面下に「Speech To Text-lm」というサービス名が表示されていますが、当作業を行う前に別途設置したものなので無視してくださいね。

３．「Watson（ワトソン）」アプリから「Personality Insight」を選択。

　画面が切り替わると、「Watson:人間の専門知識を拡張、拡大、及び促進するコグニティブ・アプリの構築」という説明書きとともに、「Watson（ワトソン）」くんの人工知能を活用したアプリ等が表示されます。

 

　この中から「Personality Insight」 を選択してください。カーソルを合わせるとアプリの概要が表示されます。関係ないですけど、なんか、アイコンがGoogleのIngressに雰囲気似てますよね。気持あがります！

　説明を見ると「トランザクション・データやソーシャル・メディア・データから洞察を引き出し、心理的特性を識別します」ですって。

 ４．「デモ」を選択。

 　画面が切りかわったら、少しだけ画面を下部にスクロールさせ、「デモ」を選択してください。
ちなみに、この段階で気づいたかもしれませんが、クレジットカード情報等は一切入力していません。もともと、30日の無料期間が設定されていますが、これなら安心して利用することが出来ますよね。

５．テストデータを投入します。いや、「コピペ」でいいの。

画面が切り替わり、「Personality Insight」 が表示されます。今回は、Ａ・ヘミングウェイの「The Old Man and the Sea（邦題：老人と海）」の英語全文を読み込ませました。

　この作品を選んだ理由は特にありません。著作権を気にしないでいいことと、日本語版を読んだことがあったので思いつきで選びました。

　画面下部のテキストボックス欄に英語文をそのままコピペし「Analyze（分析）」ボタンを押してくださ
「3,500ワード以上ないとPersonalityは分析しづらいよ」的な記載もありますが、処理は問題なく通ります。

「Watson（ワトソン）」くんのお仕事結果。

　まずは、Your Personality。風景描写なども多く記述されているため、「Personality」とするにはやや語弊がありますが、確かに主人公の老人っぽさを感じさせる記述になっています。

　恥ずかしながら今回初めて知ったのですが、「ビッグファイブ」とは、Personalityを5つの要素に分解する心理学のメソッドなんですって。へぇ～。

　こんな感じで分かりやすくマップ化もしてくれます。
まだまだ勉強中ですが、「Bluemix」、メチャクチャおもしろいテクノロジーですね。これはしっかり身につけたいです！

＜その他の参考エントリー＞
「データ・ビジュアライゼーション」でも便利な「Watson Analytics」。
http://sapporomkt.blogspot.jp/2016/01/watson-analytics_13.html

分析の常識が変わる？「Watson Analytics」すげー！！
http://sapporomkt.blogspot.jp/2016/01/watson-analytics.html

「Watson」先生に、AdSenseビンボーの理由を聞いてみた・・・
http://sapporomkt.blogspot.jp/2016/01/watsonadsense.html