Sapporo Marketing Blog / 札幌マーケティングブログ（小田一弥）

2019年8月25日日曜日

道管理空港の空港別営業損益をグラフ化してみた

北海道庁の「空港運営戦略室」ページに、道管理空港(※)別の営業損益を試算したデータがありました。ちょっと面白かったので、備忘録代わりに軽くメモしてみました。

※文字通り、「北海道が管理する空港」であり、空港法上は、「地方管理空港」に分類されます。先日発表された「北海道空港株式会社」を中心としたコンソーシアムによる「道内７空港一括民営化(コンセッション)」の対象空港にも、今回の試算対象である「女満別空港」が含まれています。

道管理空港の空港別収支の試算結果(2019年3月05日(火))

当資料内にある「営業損益」の数値データをグラフ化してみたのですが、改めて見ると結構インパクトがありますね。特に、我が実家の北見市の最寄り空港：女満別空港の収支が厳しいのですね。

ちなみに、上下一体(上記グラフのC)の経年トレンドを見ると、年々厳しくなっているようです。

一般的に、コンセッションの一つの狙いは、「下部（空港インフラ：滑走路や航空管理塔など）の管理」と「上部（運行・運営：空港内レストランやテナントなど）」の上下一体運営を進めることで、上部の利益を下部に充てることと言われています。ただ、地方の乗降者数が少ない空港は、上記数値でわかるように単体で下部を押し上げるのは厳しいため、今回の道内空港コンセッションにおいても、他の主要空港との連携(マルチゲートウェイ戦略の推進など)が重要になるのでしょうね。

＜北海道内７空港における進捗状況：国土交通省＞
北海道内７空港の優先交渉権者による提案概要

これからもいろいろ勉強してみようかと思います。

ご参考：その他エアライン関連エントリー

値上げされる新千歳空港の「旅客取扱施設利用料（PSFC）」を比べてみると・・・
https://sapporomkt.blogspot.com/2019/08/psfc.html

2019年8月18日日曜日

RESASのローデータをJupyterNotebookで取り込む

Pythonは初学者なので生暖かくご覧くださいw。

RESAS(地域経済分析システム)は、GUIが洗練して使いやすいですが、実は、いくつかの画面では、ローデータを丸ごとダウンロード可能です。

今回は、「RESAS-観光マップ」の「客室稼働率の推移」ローデータをダウンロードし、ローカル端末にインストールしたJupyterNotebookに取り込んで見ます。
JupyterNotebookのインストール手順は、下記エントリーをご覧ください。

macOS MojaveへのAnacondaインストール
https://sapporomkt.blogspot.com/2019/06/macos-majaveanaconda.html

condaコマンドによるAnacondaの仮想環境作成
https://sapporomkt.blogspot.com/2019/06/condaanaconda.html

実施環境は、以下の通りです。

・MacBook Air：CPU:1.6GHz,Memory 8GB
・macOS Mojave ver10.14.5

※本エントリーは、私、小田一弥が一個人として勉強を兼ねて記載したものです。私の勤務先である日本アイ・ビー・エム株式会社の見解・見識ではない、個人としての記載内容としてご覧ください。

JupyterNotebookへのRESASローデータ取り込み手順

以降は、ローカル端末でのJupyterNotebook起動が可能な状態を前提に記載します。
もし、セッティングが難しい場合は、当ブログで何度かご紹介している「Watson Studio」などのクラウド環境でJupyterNotebookを使うアプローチもアリかと思います。

(ご参考)IBM Watson Studio
https://www.ibm.com/watson/jp-ja/developercloud/watson-studio.html

1.RESASページからローデータをダウンロードする。
[メインメニュー]→[観光マップ]→[国内]→[宿泊施設]→[グラフを表示]と進むと、集計画面が表示されます。「宿泊施設」でいくつの選択項目があるのでお好きな項目を選んでOKですが、どの集計画面でも右側に「データをダウンロード」が表示されるので、このボタンを押してローデータをダウンロードしてください。

2.JupyterNotebookにアップする。
ローデータはZip形式になっているので、JupyterNotebookで記述したipyndファイルを置く予定のフォルダと同じフォルダに解凍したローデータをアップ(※)してください。
※「アップ」とは書いていますが、今回のJupyterNotebookはローカル端末のlocalhostで動かしているので、「Cloud上にアップする」ようなイメージではありません。

右上部分にある「Upload」ボタンからファイル指定が可能です。

3.下記コードを実行する。
今回は、「北海道」の宿泊施設データだけを抽出します。
わずか数行のコードなので、特に解説は不要かと思いますが、「os.getcwd()」関数で、これから実行するipyndファイルを置いてある相対フォルダパスを取得し、「os.path.join()」関数でローデータファイル名と繋げています。

import pandas as pd

import os

# ローカルのJupyter Notebookで作業している相対パスの確認
base_url = os.getcwd()
print(base_url)
df_csv = os.path.join(base_url,'観光マップ_宿泊施設.csv')

# csvの読み込み
df = pd.read_csv(df_csv,encoding = "shift-jis")
df_hokkaido = df[df['都道府県名'] == '北海道']
df_hokkaido.head(10)

以下のように表示されれば成功です。
次回は、このデータを使って集計や可視化に取り組んでみます。

2019年8月14日水曜日

3分で完了！RESAS(地域経済分析システム)のAPI登録。

地方創生プランニングの中核システムでもある「地域経済分析システム(RESAS)」。
GUIが非常に充実しているので、このまま使っても十分便利なのですが、もう少しグリグリ分析がしたい場合は、「RESAS API」の登録がオススメです。

「API」と聞くと、「なんだか難しい世界だなぁ」とお感じになるかもしれませんが、登録自体は３分あれば簡単に終わります。

1.RESASのAPI申請ページにアクセスする
RESASトップページを下部にスクロールすると、API申請の入口が見えます。

2.必要情報を入力する。
「RESAS-API利用登録」画面に必要情報を入力してください。
必須項目が少なめなので、簡単に終わると思います。

3.仮登録URLをクリックすると、登録完了！
先ほど登録したメールアドレスにRESAS APIの仮登録URLが送信されるのでクリックしてください。

API管理用のマイページが表示され、API登録が完了します。
次回は、このAPIで色々試してみようかと思います。

2019年8月12日月曜日

値上げされる新千歳空港の「旅客取扱施設利用料（PSFC）」を比べてみると・・・

先日、北海道が誇る空の玄関口「新千歳空港」の「旅客取扱施設利用料（PSFC）」※が、大幅値上げされる発表がありました。
※PSFC（Passenger Service Facility Charge）または PFC（Passenger Facility Charge）。
　旅客サービス施設使用料とも呼ばれる。共用スペースの諸施設や、空港情報表示システムなどの、
　旅客サービス設備の整備・運営費用に充当される。

新千歳空港ターミナルビルディングは、国際線ターミナルで徴収している旅客取扱施設利用料（PSFC）を、冬ダイヤが始める10月27日から大人税込2610円に値上げする。現在の国際線ターミナルが2010年3月にオープンして以降、9年間で旅客数が4.5倍に増えるなど、拡張工事に必要な費用の一部負担を利用者に求める。(2019/8/9 Aviation Wire)

個人的には、今まで東京に住んでいたこともあり、
「新千歳空港で2600円オーバーって高くない？」と感じました。

とはいえ、他の空港がどの程度PSFCを徴収しているかよくわからなかったので、お勉強兼ねて調べてみました。

まずは、国内空港での国際線におけるPSFC一覧です。

※2019/8/12時点での国際線における各空港の大人一人あたりPSFC。
　同一空港で複数のPSFC価格設定がある場合は、最も高い金額を記載。
　福岡空港：2019年10月1日より980円に改定予定。
　中部国際空港：2019年10月1日より2,620円に改定予定。

関空に続いて2番目に高いPSFC設定になるのですね。
逆に今までが安過ぎたのかもしれませんが、それを考慮しても＋1,600円は、結構な上がり幅です。

これだけあれば、札幌市内であれば結構おいしい海鮮丼が食べられるかも(笑)・・・っていうのは冗談ですが、実際、海外LCCなどを安いチケットを購入する際、「この差額で、海外でもっと美味しいものを食べられるかも」なんて感じてしまうかもしれません。

今後、国際線ターミナルの拡張や、「Fast Travel」推進などにも投資されるようですが、このような施策が、利用者側の満足度や再利用意向にどの程度寄与するか、継続的に把握することも、重要な取り組みになるのでしょうね。

ちなみに、ご参考までに国際線乗降数と合わせてプロットするとこんな感じです。
福岡空港における国際線乗降数の半数程度で、関空・羽田・中部クラスのPSFC価格になります。

※国際線乗降客数は、下記資料から引用。
全国空港乗降客数一覧 (平成30年統計)：東急エージェンシー

昨今、北海道の空港は、コンセッション(空港民営化)で話題になっています。今後、新千歳空港は、「北海道のゲートウェイ空港」として、他の道内空港との連携強化も重要になる点も踏まえると、妥当な価格設定のようにも思えますね。

ちなみに、今回のPSFC改定分に限らず、今後、新千歳空港がどのような絵姿になっていくのかは、下記資料を見るとわかりやすいかと思います。

＜北海道内７空港における進捗状況：国土交通省＞
北海道内７空港の優先交渉権者による提案概要

新千歳空港以外にも、私の実家の最寄り空港である女満別空港の３０年後イメージ図などもあり、読んでいるだけでワクワクしてきます。

2019年7月29日月曜日

Watson Explorer(WEX)V12のコレクション作成が劇的に簡単に。

前回、「NTHSA(米国の国家道路交通安全局)」に寄せられる「自動車の故障に関するオーナーのテキストデータ」をサンプリングし、30MB程度のコンパクトなデータセットを作成しました。

(R言語)NHTSAから4行でテキストマイニング用データをサンプリングする
https://sapporomkt.blogspot.com/2019/07/rnhtsa4.html

今回は、このデータセットを使って、IBMが誇るテキストマイニングソリューションである「Watson Explorer(WEX)」用の分析データ(WEXでは「コレクション」と言います）を作成します。

実施環境については、以下の通りです。

・IBM Watson Explorer Deep Analytics Edition Version 12.0.2

WEX Deep Analytics Edition(ver12)の概要

(そもそも「WEXってなに？」の方向けです。ご存知の方は、当パートは読み飛ばしてください)

詳細は、下記のWEX紹介ページをご参照ください。

簡単に言うと「人間が読みきれない大量の文献、文書、レポートを分類・分析して知見を獲得」するための、IBMのテキストマイニングソリューションです。

https://www.ibm.com/jp-ja/products/watson-explorer

ウリとしては、下記5点ですが、特に、V12になって機械学習（AI含む）とUI/UXが大幅に強化されました。

1.ビッグデータ対応：

他社ソリューションでも数十万件レコードレベルなら対応可能と思いますが、WEXは数百万件レコードでも難なく分析するスケーラビリティを有しています。

(ただし、それに合ったシステム基盤が必要です)

2.高度な言語理解と深い洞察

同義語辞書だけではなく、様々な言い回しの意図も抽出可能な機能があります。

「IBM Watson Knowledge Studio(WKS)」を用いると、文章に注釈としてメタデータを付与し、WEX上で利用することができます。

3.多言語対応

もともと、日本IBMが開発したソリューションであるため、日本語の解析を得意としていますが、全部で16カ国もの多言語分析が可能です。

4.機械学習を用いた自動文書分類

V12から新たに機械学習を用いた分類機能が実装されました。

5.データに基づく分析ステップのガイド

テキストマイニング未経験者でも直感的に使えるUI/UXとなりました。

(初見だと、V11以前のユーザーは面食らうかもしれませんが、すぐ慣れると思います）

WEX Deep Analytics Edition(ver12)の概要

WEXに限らず、テキストマイニングソリューションは、「文字コード指定」や「フィールド設定」など、分析着手までの作業負担が重くゲンナリすることが多いのですが、WEXはこの辺りの作業がかなり楽です。

下記に手順を記載しますが、ローデータのフィールドずれなどが無ければ、ほとんどポチポチとボタンを押せば完了するかと思います。

1.WEXにログインする

まずは、管理者から配布されたIDとPASSでログインしてください。

2.「コレクションを作成」を選択する

コレクション(WEXの分析対象となるデータ)一覧画面が表示されるので、「コレクションを作成」を選んでください。

3.「次へ」をそのまま選択する

既に「コンテンツ・マイニング」にチェックされているので、そのまま「次へ」を選択してください。

4.分析対象ファイルをアップロードする

画面下部のアップロードスペースに、前回サンプリングした分析対象ファイルをアップロードします(リンクをクリックしてのファイル選択でも可能です)。

5.コレクション名を記載する

アップロードが完了すると画面が切り替わるので、コレクション名を記載します。

なお、実務上は、ファセットのテスト用コレクションなど複数のコレクションを作ることが多いと思います。

「テスト/本番」や日付など、誰が見てもわかるコレクション名を記載するよう、習慣づけると良いと思います。

「説明」欄は、複数メンバーでの作業であれば記載してください。

6.「フィールド」画面が表示される

取り込みが完了すると、「フィールド」画面が表示されます。

「CSVプレビュー」の部分を見ると、各フィールドが自動的に識別されています。

あと、WEX V11と比べると、画面上段に「テンプレート」から「保存」までの作業ステップが明示されており、どのステップまで進んでいるかがわかりやすいですね。

7.「LDATE」を「日付」形式に変更する

「LDATE」がユーザーからクルマの異変を報告された日のため、このフィールドを「日付」に変更します。

すると、「LDATE」フィールドで取り込んだデータがグラフ化されます。

WEX V11までは、コレクション作成が全て完了しないと見れなかったため、これはとても助かりますね。特に、V11まで日付形式は鬼門で何度も取り込みを繰り返していたのでありがたいです。

また、右下の「フィールド・マッピング」では、分析対象となるテキスト本文が記載されているフィールド(「CDESCR」フィールド)が自動的に指定されています。

V11までは、「Body」フィールドとして都度指定が必要でしたが、随分と楽になりましたね。

8.「CSVパーサーの構成」をチェックする

「CSVプレビュー」パートの右上部分にある「CSVパーサーの構成」をクリックします。

文字コードや区切り文字の指定が可能です。今回のデータは変更は不要なので、このまま閉じて、「次へ」ボタンを押してください。

9.アノテーターを指定する

「コレクションのエンリッチ」画面に遷移します。

ここでは、非構造化データ(ここでは「CDESCR」フィールド)に様々なアノテーション(注釈)をつけることができます。

「アノテーション？？」な方は、次回以降のエントリーで記載しますので、今は、「文章や単語に意味をつけて、分析に利用できるようにする」ぐらいのご理解でOKです。

ここでは、「評判分析」と「固有表現抽出」にチェックをつけて、「次へ」ボタンを押してください。

10.ファセットを指定する

分析用ファセットの指定画面に遷移します。WEXではデフォルトで様々な品詞や語句などを抽出可能です。実務的には色々とやることがあるプロセスですが、今回はデフォルトのままでOKです。

11.コレクションを保存する

ここはデフォルトのままでOKです。

「保存」ボタンを押すと、文章へのインデクシング(索引付け)が走ります。

分析対象となるレコード数やサーバー環境により、インデクシング時間は変動しますが、結構かかるはずですので、別作業を行いながら完了をお待ちください。

12.完了したコレクションをクリックする

しばらく経つと、下記のように「100％索引付き」と表示されるので、当該コレクションをクリックしてください。

ファセットに合わせて単語の頻度数が表示されました！

次回は、このコレクションを使って、分析機能の詳細をご紹介します。

Watson関連エントリー

Watson Explorerでディズニーの人気作品をテキストマイニング

https://sapporomkt.blogspot.com/2017/04/watson-explorer.html

自動でAIモデルが出来ちゃう〜Watson Studio AutoAI Experiment

https://sapporomkt.blogspot.com/2019/07/aiwatson-studio-autoai-experiment.html

SPSS Modeler flowのモデルをWebサービスとしてデプロイする

https://sapporomkt.blogspot.com/2019/07/spss-modeler-flowweb.html

(無料)Watson StudioでSPSS Modeler flowの決定木を動かす

https://sapporomkt.blogspot.com/2019/06/watson-studiospss-modeler-flow.html

Watson Studioの「Data Refinery」機能で「馬の疝痛(せんつう)」データを眺めてみた。

https://sapporomkt.blogspot.com/2019/06/watson-studiodata-refinery.html

2019年7月27日土曜日

(R言語)NHTSAから4行でテキストマイニング用データをサンプリングする

「Watson Explorer(WEX)」に関するテキストマイニングのエントリーを書きたくなり、「NHTSA(※)」のローデータをダウンロードしたのですが・・・

※National Highway Traffic Safety Administration：自動車や運転者の安全を監視する米国運輸省の部局(コトバンク)

解凍すると１GB越え・・・。

「大規模データに潜む有用な声をクイックに発見する」のがWEXのウリだったりするので、このまま分析用サーバーにアップしちゃおうかな・・・。

・・・と、私の中の妖精が何度か囁いたのですが、本当にやっちゃうと怒られそうなので、扱いやすいファイルサイズになるよう、サンプリングしてみます。

実施環境については、以下の通りです。

・MacBook Air(CPU:1.6GHz,Memory 8GB)
・macOS Mojave ver10.14.5
・Rstudio ver1.2.1335(R version 3.6.0)

サンプリングの手順

1.Rstudioを端末にインストールする

このブログで何度かご紹介しているIBMのAI開発環境である「Watson studio」内にあるRstudioでも実行可能ですが、無料枠のCPU時間をデータ前処理で使うのも勿体ないので、ローカル端末にあるRstudioで実行します。

インストールプログラムが必要な方は、ここからダウンロードし、インストールしてください。

2.NHTSAからローデータをダウンロードする

下記URLからローデータ(FLAT_CMPL.csv)をダウンロードしてください。圧縮されてはいるものの、200MB以上あるので、通信環境によっては少々時間がかかります。

https://www-odi.nhtsa.dot.gov/downloads/

3.フィールド情報をダウンロードする

ローデータには、フィールド名が記載されていないため、ローデータと同じフォルダに「CMPL.txt」もダウンロードしておきます。

※この後、ソースコードで整形済みのフィールド一覧テキストを記載しますので、面倒でしたら無視してもOKです。

4.作業ディレクトリを変更する

「setwd("ディレクトリのパス")」をRstudioのコンソールに入力してもいいのですが、面倒なので、Rstudioのメニュー画面から「Session→Set Working Directory」を選び、ローデータが入っているディレクトリを指定します。

5.以下のコードを実行する。

「dplyrパッケージ」のロードを除くと、わずか4行のコードでサンプリングされたファイルが生成されます。

特に便利なのが、「dplyrパッケージ」の中にある「sample_frac()」関数です。

当該関数の引数にパーセンテージとなる引数を入れると、入力ファイル(この場合、master.df)を母数として、指定したパーセント分のレコードをサンプリングしてくれます。

# dplyrのロード。初めて利用する場合は、事前に当該パッケージをインストールしてください。

library(dplyr)

# 「sep="\t"」でTab区切りファイルを読み込み。

# 「FLAT_CMPL.txt」にはフィールド名が記載されていないので、最初のレコードをフィールド名として

# 読み込まないように「header = FALSE」を指定する。

# デフォルトのFactorデータで読み込むと重くなる。今回は、ローデータ抽出が目的のため、

# 「stringsAsFactors = FALSE」とする。

master.df <- read.csv("FLAT_CMPL.txt",sep="\t",header = FALSE,stringsAsFactors = FALSE)

# 下記にフィールド定義が記載されています

# https://www-odi.nhtsa.dot.gov/downloads/folders/Complaints/Import_Instructions.pdf

# 先ほど読み込んだデータフレームのフィールド名を上書き。

colnames(master.df) <- c("CMPLID","ODINO","MFR_NAME","MAKETXT","MODELTXT","YEARTXT","CRASH","FAILDATE","FIRE","INJURED","DEATHS","COMPDESC","CITY","STATE","VIN","DATEA","LDATE","MILES","OCCURENCES","CDESCR","CMPL_TYPE","POLICE_RPT_YN","PURCH_DT","ORIG_OWNER_YN","ANTI_BRAKES_YN","CRUISE_CONT_YN","NUM_CYLS","DRIVE_TRAIN","FUEL_SYS","FUEL_TYPE","TRANS_TYPE","VEH_SPEED","DOT","TIRE_SIZE","LOC_OF_TIRE","TIRE_FAIL_TYPE","ORIG_EQUIP_YN","MANUF_DT","SEAT_TYPE","RESTRAINT_TYPE","DEALER_NAME","DEALER_TEL","DEALER_CITY","DEALER_STATE","DEALER_ZIP","PROD_TYPE","REPAIRED_YN","MEDICAL_ATTN","VEHICLES_TOWED_YN")

# 取り込み直後は、782,115 records。

# 「Ctrl+Shift+M」でpipe演算子(`%>%`)を挿入

# マスターのデータフレーム(master.df)から3%を無作為抽出し、別のデータフレーム

# (sample_3_percent.df)に書き出す。今回は3%で指定するため、23,463 recordsとなる。

sample_3_percent.df <- master.df %>% sample_frac(0.03)

# CSVファイルとして書き出し

write.csv(sample_3_percent.df,"sample_3_percent.csv")

サンプリングされたファイルを見ると、32.1MBなのでExcelでも開けるサイズになりました。

次回は、このファイルを使って新しくなったWEXのご紹介をしたいと思います。

R関連エントリー

R言語：starwarsキャラの身長や年齢をdplyrで加工してggplot2する。http://sapporomkt.blogspot.jp/2017/08/rstarwarsdplyrggplot2.html

RESASの不動産取引データでheatmapを作ってみた。
http://sapporomkt.blogspot.jp/2017/05/resasheatmap.html　

RESASデータを「IBM Data Scientist Workbench」でゴニョゴニョしてみた。
http://sapporomkt.blogspot.jp/2017/05/resasibm-data-scientist-workbench.html

ggplot2でクロス集計的に複数グラフをプロットする方法
http://sapporomkt.blogspot.jp/2016/11/ggplot2.html

R開発環境が無料で簡単導入！「Data Scientist Workbench」を使ってみた。
http://sapporomkt.blogspot.jp/2016/10/rdata-scientist-workbench.html

(Bluemix)知ってた？dashDBってTwitter分析にもツカエルのさ(＋ちょっとだけコンサドーレ調べ)
http://sapporomkt.blogspot.jp/2016/07/bluemixdashdbtwitter.html

RMeCabで形容詞の形態素解析をやってみた。
http://sapporomkt.blogspot.jp/2016/07/rmecab.html

【R言語】今年は、leafletでマップをグリグリしたい。
http://sapporomkt.blogspot.jp/2016/01/rleaflet.html

（R言語）当ブログアクセス者の興味関心事をコレポン（コレスポンデンス）した。
http://sapporomkt.blogspot.jp/2015/12/r.htm

2019年7月11日木曜日

自動でAIモデルが出来ちゃう〜Watson Studio AutoAI Experiment

今回は、Watson Studio上で、自動でAIモデルが作成可能な「Watson Studio AutoAI Experiment」を試してみます。
最終的には、下記のようなアウトプットが数クリックで作成可能です。

「AIモデル」と聞くと、「うわっ、難しい！」と思うかもしれませんが、本当に、本当に簡単に作成できます。

前回までの経緯については、下記エントリーをご覧ください。

SPSS Modeler flowのモデルをWebサービスとしてデプロイする
https://sapporomkt.blogspot.com/2019/07/spss-modeler-flowweb.html

※本エントリーは、私、小田一弥が一個人として勉強を兼ねて記載したものです。私の勤務先である日本アイ・ビー・エム株式会社の見解・見識ではない、個人としての記載内容としてご覧ください。　

AIモデル作成までの手順

1.データのアップロード
前回までの作業で、Watson Studioの「Data Refinery」で加工したデータがData Assetsにあると思うので、そちらを使って頂いても大丈夫です。

私の場合、データ加工後、ファイル名を指定せずに保存したため、「xxx.csv.xxx.csv」のようになってしまい、「AutoAI」のRunがStopしたので、リネームしたものをアップロードし直しています。

2.「AutoAI」を追加
右上の「Add project」から「AutoAI」を追加してください。

3.「Asset name」にモデル名を入力する
前述画面からCreatを押すと下記画面になるので、「Asset name」にお好きなAIモデル名を入力してください。

4.Assetを選択する
画面上は、ちょっと裏に隠れてしまっていますが、「Select from project」からAssetを選択してください。

5.予測したい変数を選択する
予測したい変数（目的変数）を選択します。今回は、クルマの受容性である「Class」を選びます。
なお、予測したい変数が「Binary Classification(二値分類)」であれば、このまま進んでOKですが、Classのフィールドは値が４種類あるので、「Edit prediction」を選んでください。