(Watson)Personality InsightsのJSONをR言語でパースしてみた

現在、Python勉強中ですが、どちらかと言うとR言語派の私は肩身が狭いです。。
いろんなサンプルスクリプトを調べても、Pythonばかりで。。
一矢を報いたくなったので、WatsonのAPIである「Personality Insights」から出力されたjsonをR言語でパースする、超簡単なスクリプトを書いみました。

ローカル環境でも出来るのですが、せっかくなので、Cloud上でAI開発が可能な「Watson Studio」(無料プラン)でやってみたいと思います。

※本エントリーは、私、小田一弥が一個人として勉強を兼ねて記載したものです。私の勤務先である日本アイ・ビー・エム株式会社の見解・見識ではない、個人としての記載内容としてご覧ください。 　

「Personality Insights」からのjson取得

「Personality Insights(PI)」については、Qiitaなどで複数紹介されているのでご存知の方も多いと思いますが、簡単に言うと、言語学的分析とパーソナリティ理論を応用し、テキストから筆者の性格や特徴を推測するWatson APIのひとつです。

本来は、PythonやcURLからアクセスしてjsonを入手する必要があるのですが、やや敷居が高いので、コピペだけで済む方法をご紹介します。

1.「Personality Insights」のデモサイトにアクセスする。

デモサイトでは、スクリプトなど一切書かずに、PIの実行と出力結果を得ることができます。

自分で準備したテキストファイルでも分析可能ですが、今回は、リンクされている著名人のTwitterデータを使いますので、画面の「ツイート分析」をクリックしてください。

私は、「ダルビッシュ有」さんのツイートを選びました。

PIデモサイト

画面右下の「分析」画面を押すと、下記のような分析結果の画面が表示されるはずです。

2. JSONを取得する
画面をスクロールし、「JSONを見る」をクリックしてください。

JSONが表示されるので、ドラッグ&ドロップで全選択してください。
残念ながら、ショートカットキーだと、ページ全体が対象となるので、ドラッグ&ドロップのみです。

コピーした結果をエディターに貼ります。ファイル名は「PI_sample.json」にしました。
猛者たちの「スクリプトでやれよ」的な声が聞こえてくるかもしれませんが、そっと耳を塞ぎます。。

これでスクリプトを書かずに、JSONを入手することができました。

Watson StudioのR環境(Rstudio)でJSONをパースする

1.Watson Studioにアクセスする

以降の作業は「Watson Studio」で行いますが、登録の仕方はQiitaなど、他サイトをご覧ください。なお、当エントリーに記載する作業は、全て無料で実施可能です。何回も試行したとしても、勝手に課金されることはありませんので、ご安心ください。

まずは、下記サイトにある「ライト・アカウントを今すぐ登録」を選び、登録に必要な情報をインプットしてください。

https://www.ibm.com/watson/jp-ja/developercloud/watson-studio.html

Watson Studioへのアクセス手順で迷う方は、下記サイトをご覧ください。

Watson Studioセットアップガイド(ライトアカウント可)

https://qiita.com/makaishi2/items/b666f847a98c2e42dfbb

2.新規プロジェクトを作成する

Watson Studioに入った後は、「Create a project」を選択してください。

3.「Standard」を選択

「Creat a project」画面が表示されるので、「Standard」を押してください。

4.プロジェクトネームを入力する
「Name」欄にお好きなプロジェクトネームを入力してください。
私は「PI_R_sample」としました。Descriptionは空欄でOKです。
入力が終わりましたら、右下の「Create」を押してください。

５.「Rstudio」を起動する
「Launch IDE」を押した後にプルダウンで表示される「Rstudio」を選択してください。
少し待つとRの統合開発環境である「Rstudio」が起動します。

RStudioが出ましたっ！！
右下の「Upload」を選択してください。

ファイルがアップされました。

6.Rスクリプトを実行する
左側のコンソールペインに下記スクリプトをコピー＆ペーストし、enterを押してください。

# jsonliteパッケージのインストール

install.packages("jsonlite")

# jsonファイルのパースパッケージを呼び出し

library(jsonlite)

# jsonファイルをパース。" "内のファイル名は、都度書き換え

PI_result <- read_json("PI_sample.json", simplifyVector = TRUE)

# =====================各PI項目名とスコアを抽出=====================

# ---------------------各「PI：word_count」パート----------------

# count数を抽出。 countだけ％ではなく、N数

word.name = "word_count"

word.count = unlist(PI_result$word_count)

# word_count項目名と％スコアをつなげたデータフレームを作成

word_count.df <- data.frame(word.name,word.count)

colnames(word_count.df) <- c("item","score")

# ---------------------各「PI：Big5」パート----------------

# Big5：big5_openness(知的好奇心)

# jsonをパースしたList形式からBig5：big5_openness(知的好奇心)スコアを抽出

big5_openness.name <- unlist(PI_result$personality$name[[1]])

big5_openness.percentile <- unlist(PI_result$personality$percentile[[1]])

# openness項目名と％スコアをつなげたデータフレームを作成

big5_openness.df <- data.frame(big5_openness.name,big5_openness.percentile)

colnames(big5_openness.df) <- c("item","score")

# Big5：big5_Conscientiousness(誠実性)

# jsonをパースしたList形式からBig5：big5_Conscientiousness(誠実性)スコアを抽出

big5_conscientiousness.name <- unlist(PI_result$personality$name[[2]])

big5_conscientiousness.percentile <- unlist(PI_result$personality$percentile[[2]])

# consciousness項目名と％スコアをつなげたデータフレームを作成

big5_conscientiousness.df <- data.frame(big5_conscientiousness.name,big5_conscientiousness.percentile)

colnames(big5_conscientiousness.df) <- c("item","score")

# Big5：big5_Extraversion(外向性)

# jsonをパースしたList形式からBig5：big5_Extraversion(外向性)スコアを抽出

big5_extraversion.name <- unlist(PI_result$personality$name[[3]])

big5_extraversion.percentile <- unlist(PI_result$personality$percentile[[3]])

# Extraversion項目名と％スコアをつなげたデータフレームを作成

big5_extraversion.df <- data.frame(big5_extraversion.name,big5_extraversion.percentile)

colnames(big5_extraversion.df) <- c("item","score")

# Big5：big5_Agreeableness(協調性)

# jsonをパースしたList形式からBig5：big5_Agreeableness(協調性)スコアを抽出

big5_agreeableness.name <- unlist(PI_result$personality$name[[4]])

big5_agreeableness.percentile <- unlist(PI_result$personality$percentile[[4]])

# Agreeableness項目名と％スコアをつなげたデータフレームを作成

big5_agreeableness.df <- data.frame(big5_agreeableness.name,big5_agreeableness.percentile)

colnames(big5_agreeableness.df) <- c("item","score")

# Big5：big5_Emotional_range(感情起伏)

# jsonをパースしたList形式からBig5：big5_Emotional_range(感情起伏)スコアを抽出

big5_emotional_range.name <- unlist(PI_result$personality$name[[5]])

big5_emotional_range.percentile <- unlist(PI_result$personality$percentile[[5]])

# Emotional_range項目名と％スコアをつなげたデータフレームを作成

big5_emotional_range.df <- data.frame(big5_emotional_range.name,big5_emotional_range.percentile)

colnames(big5_emotional_range.df) <- c("item","score")

# ---------------------各「PI：Need(欲求)」パート----------------

# jsonをパースしたList形式からNeed(欲求)スコアを抽出

need.name <- unlist(PI_result$needs$name)

need.percentile <- unlist(PI_result$needs$percentile)

# Need項目名と％スコアをつなげたデータフレームを作成

need.df <- data.frame(need.name,need.percentile)

colnames(need.df) <- c("item","score")

# ---------------------各「PI：Value(価値)」パート----------------

# jsonをパースしたList形式からValue(価値)スコアを抽出

value.name <- unlist(PI_result$value$name)

value.percentile <- unlist(PI_result$value$percentile)

# Value項目名と％スコアをつなげたデータフレームを作成

value.df <- data.frame(value.name,value.percentile)

colnames(value.df) <- c("item","score")

# ---------------------各「PI：各パートの行結合」パート----------------

# 個別データフレームの行結合(バインド)

pi_merge.df <- rbind(

  word_count.df,

  big5_openness.df,

  big5_conscientiousness.df,

  big5_extraversion.df,

  big5_agreeableness.df,

  big5_emotional_range.df,

  need.df,

  value.df)

# PIデータフレームのCSV書き出し

write.csv(pi_merge.df,"pi_merge.df.csv")

7.CSVファイルをダウンロードする
Rスクリプトが完了すると、右下にCSVファイルが表示されるはずです。
「More」から「Export」を選び、CSVファイルをダウンロードしてください。

ダウンロード後のCSVファイルを開くと、PIのスコアが一覧化されています。

当エントリーは手順を全て記載したので手間のかかる作業のように見えますが、実際は、特別なスキル無しに20分あればCSVファイル取得まで行けると思います。

想定ユースケースなど

実務上のユースケースとしては、異なるセグメントやグループに属する方の発話テキストを個別のJSONとして読み込ませ、各人のPIスコアを比較し、そこから何らかの分析の切り口を見つけ出すといった使い方は面白いと思います。

ただし、「PIスコアから、ターゲットのインサイトが全てわかる」「打ち手イメージの導出まで繋がる」とは考えない方がいいと思います。これは、PIの機能どうこうという問題ではなく、結局、読み込ませるデータの内容や、分析者の目的や意図によって「(解釈上の)PIスコアの意味」が変わってくるものだと思うからです。
(ex.アウドドアグッズメーカーと、文房具メーカーのレビューを読み込ませた場合の”Openness”の意味合いは違うはず)

個人的には、非構造化データ分析時に、最初の取っ掛かりとしてPIにかけると、新たな分析仮説がイメージしやすい場合もあって有用かなと思っています。

ご参考：その他のWatson関連エントリー

Watson Studioの「Data Refinery」機能で「馬の疝痛(せんつう)」データを眺めてみた。
https://sapporomkt.blogspot.com/2019/06/watson-studiodata-refinery.html

Watson AnalyticsとMeCabで「老人と海」を軽く可視化してみた。
https://sapporomkt.blogspot.com/2017/08/watson-analyticsmecab.html

Watson Explorerでディズニーの人気作品をテキストマイニング
http://sapporomkt.blogspot.jp/2017/04/watson-explorer.html

いま話題のIBM「Bluemix（ワトソンくん）」が「老人と海」をサマったら。
http://sapporomkt.blogspot.jp/2015/11/ibmbluemix.html

Pythonでの文字列の検索

Pythonで文字列を検索する関数のご紹介です。

movie_title = "A Whole New World"

# 指定した文字が出現する回数を返す

print(movie_title.count('W'), movie_title.count('A'))

# => 2 1

# 文字列中に指定した文字がある場合に、該当する最小のインデックスを返す

# ただし、文字列が見つからない場合は、-1を返す

print(movie_title.find('N'), movie_title.find('W'), movie_title.find('X'))

# => 8 2 -1

# 文字列中に指定した文字がある場合に、該当する最大のインデックスを返す

# ただし、文字列が見つからない場合は、-1を返す

print(movie_title.rfind('N'), movie_title.rfind('W'), movie_title.rfind('X'))

# => 8 12 -1

# 先頭の文字列が、指定した文字列で始まるか否かを真偽値で返す

print(movie_title.startswith('A'), movie_title.startswith('X'))

# => True False

# 先頭の文字列が、指定した文字列で終わるか否かを真偽値で返す

print(movie_title.endswith('A'), movie_title.endswith('X'))

# => False False

# 文字列中に指定した文字がある場合、該当する最小のインデックスを返す

# ただし、文字列が見つからない場合は、例外を発生させる

print(movie_title.index('N'), movie_title.index('W'), movie_title.index('X'))

# => ValueError: substring not found

# 文字列中に指定した文字がある場合、該当する最大のインデックスを返す

# ただし、文字列が見つからない場合は、例外を発生させる

print(movie_title.rindex('N'), movie_title.rindex('W'), movie_title.rindex('X'))

# => ValueError: substring not found

# 指定した文字列が、検索対象の文字列に含まれているか否かを調べる

print('World' in movie_title,"Sekai" in movie_title)

# => True False

以上です。

Pythonの文字列操作

Pythonでの文字列操作まとめです。

movie_title = "A Whole New World"

# 最初の文字を大文字に変換

print(movie_title.capitalize())

# 全部の文字を小文字に変換

print(movie_title.lower())

# 大文字を小文字に変換し、小文字は大文字に変換

print(movie_title.swapcase())

# 大文字から始め、残りの文字は全て小文字に変換

print(movie_title.title())

# 大文字に変換

print(movie_title.upper())

Jupyter notebookで動かすとこんな感じです。

以上です。

Watson Studioの「Data Refinery」機能で「馬の疝痛(せんつう)」データを眺めてみた。

IBMの「Watson Studio」に含まれている「 Data Refinery」機能を使ってみました。
データプロファイルの視覚化などが、こんな感じで数クリックで出来ちゃいます。

※本エントリーは、私、小田一弥が一個人として勉強を兼ねて記載したものです。私の勤務先である日本アイ・ビー・エム株式会社の見解・見識ではない、個人としての記載内容としてご覧ください。 　

「Data Refinery」とは？

概要：

Watson StudioとWatson Knowledge Catalogから使用可能なData Refineryツールは、膨大な量の生データを、利用可能な品質の高い情報に素早く変換してすぐに分析できる状態にすることにより、データ準備時間を節約します。

機能：

・データの分析と変換

・データのプロファイル作成と視覚化

・あらゆる場所にあるデータへの接続

・ガバナンスされたセルフサービスのデータ準備

・ジョブの実行のスケジューリング

・サーバーレスでの実行

(参考)

https://www.ibm.com/jp-ja/cloud/data-refinery

サンプルデータについて

今回は、馬の「疝痛(せんつう)」に関するオープンデータを用います。

疝痛(せんつう)とは？

疝痛（せんつう、colic）とは腹部臓器の疼痛およびそれに伴う腹痛を示す症状名。馬ではその解剖学的、生理学的特徴から多発する。以下では主に馬について記述する。馬で多発する原因として、胃が体躯に比べ小さいために嘔吐しにくい構造であること、腸間膜（mesentery）が長く固定されていないこと、巨大な盲腸をもつことなどが挙げられる。
(Wikipediaより)

ちなみに、1997年に皐月賞と日本ダービーを制した名馬「サニーブライアン」なども疝痛で命を落としていまして、お馬さん業界の中では結構メジャーで怖い病らしいです。

＜サンプルデータの入手・加工方法＞

１．UCIのサイトからデータをダウンロード
下記サイトからローデータをダウンロードしてください。上段にある「Download: Data Folder」をクリックするとローデータが表示されます。また、当ページの下部には各データ列の詳細についての解説もあるので、後ほどデータ形式の指定時に参照します。
ちなみに、欠損値も30％ほど入っているので、置換ノードによるデータ加工のお勉強としても活用そうですね。 

Horse Colic Data Set(UCI：Machine Learning Repository)

２．CSV形式で保存
早速データを保存しようと思ったのですが・・・。うーん、CSV形式等でもあると楽なんですけどね＾＾； 

このまま取り込んでも何とかなるのですが、面倒なのでエディタなどで半角スペースを「,(カンマ)」に全置換してCSV形式で保存しました。

「Data Refinery」での視覚化手順

1.「New Project」の作成

画面右上の「New Project」を押して、新規にプロジェクトを作成してください。

2.「Standard」を選択

「Standard」を選択し、プロジェクトを作成してください。

3.プロジェクト名称を入力

「Name」欄に判別しやすいプロジェクト名称を入力してください。

複数名での共同作業を行う場合は、Descriptionに何か説明を書いた方が良いと思います。

ちなみに、当プロジェクトは、画面右側に表示されている「COS(Cloud Object Storage)」に保存されます。

4.プロジェクトに追加する

すぐに下記画面が表示されるので、右上の「Add to project」を選択します。

5.「Data」を選択

プロジェクトに追加可能なAsset一覧が表示されます。この中から「Data」を選択してください。今回は触れませんが、Web上でPythonが実行可能なJupyter notebookなども追加可能です。

6.CSVファイルをアップロード

画面右上のエリアに、当エントリー冒頭でご紹介したCSVファイルをドラッグ&ドロップしてください。「browse」のリンクからファイル指定も可能です。

7.「Refine」を選択する

CSVファイルのアップロードが終わりましたら、「Asset」タブから「Refine」を選択してください。

8.Refinery画面が表示される

Refinery画面が表示されます。こちらは、スプレッドシートライクな「Data」タブ画面です。

「Profile」タブではデータの概要が簡易的に把握可能な頻度グラフなどが表示されます。

「？」は、このサンプルデータに含まれる欠損値です。

そのほか、「Visualizations」にはデータ形式に合わせて豊富なグラフを選択することが出来ます。

このような高度な可視化が、数クリックだけで出来ちゃいます。

全く素性のわからないデータなどを受領した場合、まず、このツールでチェックするのもアリですね。

次回も、Watson Studioの機能をご紹介させて頂きます。

condaコマンドによるAnacondaの仮想環境作成

前回、Anaconda導入を行いました。

macOS MojaveへのAnacondaインストール

今回は、macOS環境でcondaコマンドによるAnacondaの仮想環境作成を行います。
condaコマンドは、Anacondaの環境構築に用いるコマンドラインツールです。

実施環境は、以下の通りです。

・MacBook Air：CPU:1.6GHz,Memory 8GB
・macOS Mojave ver10.14.5

作業手順

まず、ターミナルに入り、ご自分のPythonのバージョンをご確認ください。

Desktop $ python --version

Python 3.7.3

下記コマンドを入力してください。「jupyternote-env」部分は何でもOKですが、あとでわかりやすい名前にしてください。

「python=」以降は、ご自分のPythonのバージョンに合わせて書き換えてください。

Desktop $ conda create -n jupyternote-env python=3.7.3

コマンドを入力すると、「こんな内容でインストールするけどいい？」的なメッセージが

表示されます。

Collecting package metadata: done

Solving environment: done

## Package Plan ##

  environment location: /Users/[ユーザー名]/anaconda3/envs/jupyternote-env

  added / updated specs:

    - python=3.7.3

The following packages will be downloaded:

    package                    |            build

    ---------------------------|-----------------

    ca-certificates-2019.5.15  |                0         133 KB

    openssl-1.1.1c             |       h1de35cc_1         3.4 MB

    pip-19.1.1                 |           py37_0         1.8 MB

    setuptools-41.0.1          |           py37_0         635 KB

    sqlite-3.28.0              |       ha441bb4_0         2.3 MB

    wheel-0.33.4               |           py37_0          39 KB

    ------------------------------------------------------------

                                           Total:         8.3 MB

The following NEW packages will be INSTALLED:

  ca-certificates

  certifi

  libcxx

  libcxxabi

  libedit

  libffi

  ncurses

  openssl

  pip

  python

  readline

  setuptools

  sqlite

  tk

  wheel

  xz

  zlib

Proceed ([y]/n)?

問題なければ y を入力し、enterキーを押してください。

下記のようなメッセージが表示れると完了です。

Downloading and Extracting Packages

setuptools-41.0.1    | 635 KB    | ######################################### | 100%

sqlite-3.28.0        | 2.3 MB    | ######################################### | 100%

wheel-0.33.4         | 39 KB     | ######################################### | 100%

openssl-1.1.1c       | 3.4 MB    | ######################################### | 100%

pip-19.1.1           | 1.8 MB    | ######################################### | 100%

ca-certificates-2019 | 133 KB    | ######################################### | 100%

Preparing transaction: done

Verifying transaction: done

Executing transaction: done

#

# To activate this environment, use

#

#     $ conda activate jupyternote-env

#

# To deactivate an active environment, use

#

#     $ conda deactivate

今作った仮想環境をアクティベートします。「jupyternote-env」は、ご自分の環境名に

書き換えてください。

Desktop $ source activate jupyternote-env

下記のように表示されれば成功です。

(jupyternote-env) Desktop $

次に、この仮想環境に入れたいサードパーティ製パッケージをインストールします。

==以降の部分は、都度、組み合わせでの動作確認が取れているバージョンを記載してください

conda install -y jupyter==x.x.x

conda install -y notebook==x.x.x

conda install -y pandas==x.x.x

conda install -y matplotlib==x.x.x

あとは、お好きなところに作業ディレクトリを作成し、Jupyte Notebookを起動します。

(jupyternote-env) ~ $ mkdir jupyter_notebooks

(jupyternote-env) ~ $ cd jupyter_notebooks/

(jupyternote-env) jupyter_notebooks $ jupyter notebook

やった！起動したっ！

macOS MojaveへのAnacondaインストール

先日、macOSを再インストールした際、Python学習のために「Anaconda」を入れ直したので、手順を軽くご紹介します。
とはいえ、ほぼ「ボタンポチポチ系」の作業です。

実施環境は、以下の通りです。

・MacBook Air：CPU:1.6GHz,Memory 8GB
・macOS Mojave ver10.14.5

そもそも「Anaconda」ってなに？

一言で言うと、「Pythonにおけるデータ分析に関連するライブラリ群を簡単に導入可能なPythonディストリビューション」です。

NumPy・scikit-learn・Matplotlib・Bokehなど、Pythonで主要なデータ分析系ライブラリを初心者でも容易に導入することが出来ます。

「Anaconda」のインストール手順

1.macOS用：Anacondaインストーラーの入手
下記サイトからAnacondaのインストーラーをダウンロードしてください。
Pythonには、「2.7系」と「3.7系」がありますが、よほどのことがない限り、「3.7系」を選んでください。
ちなみにデータサイズは637MBありました。

https://www.anaconda.com/distribution/

2.インストーラーを起動する
直接開いても、ローカルにファイル保存してからでもOKです。

3.表示内容を読んで「続ける」
数画面は特に迷うことなく、「続ける」で進めます。

4.インストール先を変更
「インストール先を変更」ボタンを押してください。

5.「自分専用にインストール」を選択
「自分専用にインストール」を選択し、「続ける」を押してください。

6.「インストール」実行
「インストール」ボタンを押します。
この後、インストールプログラムが走りますので、完了までしばらく待機です。

7.インストール完了！

ほとんど「続ける」ポチポチで完了です！

8.「Anaconda Navigator」起動
ファインダーから「アプリケーション」を選択し、「Anaconda Navigator」を起動すると、いろんなオモチャがギッシリ♪

以上です。