Azure Machine Learning Studio でデータセットをマージする

ちょっと調べたらまとめている文書がなかったので備忘録的に。

Azure Machine Learning Studio

Azure Machine Learning Studio はデータサイエンティストでなくともノンコーディング機械学習のモデル作成、トレーニング、Web API公開まで簡単にできるサービスです。

azure.microsoft.com

データセットのインポートもローカルからのインポートからAzure 各種サービスからの連携まで様々取り揃えているのですが、

docs.microsoft.com

複数のファイル(csvなど)を取り込みたいケースってありますよね?

方法は大きく2つあります。

 

1.そもそものCSVファイルを結合して1つのファイルでアップロードする。

Azure Machine Learning Studioにアップロードする前に、前処理をして一つのファイルに結合しておくというやり方があるかと思います。

ただし、データのアップロードサイズには制限がありますので、数GBを超えるようなデータセットはローカルファイルからではなく、Azure StorageやAzure SQL DB、Azure HDInsightを使っていただく必要があります。

  参考:https://docs.microsoft.com/ja-jp/azure/machine-learning/studio/faq

 

2.別々に上げたファイルをAdd Rowモジュールで結合する。

2つのデータセットを結合するモジュールがあります。

ですので、ファイルは別々に+Newでアップロードしていただき、アップロードされたデータセットをStudioにドラッグアンドドロップで持っていき、Add Rowモジュールで結合するというやり方となります。

やってみましょう。

・事前にcsvファイルを2つアップロードしておきます。

・それぞれのcsvファイルをMyDatasetから選択し、ドラッグアンドドロップでExperimentエリアに配置しておきます。

・左側の検索フィールドで「Add Rows」を入力し、「Add Rows」モジュールをドラッグアンドドロップでExperimentエリアに配置します。

・配置したデータセットと「Add Rows」モジュールを繋ぎます。

・Runボタンで実行します。

※列が同一でないとエラーになるので注意!

f:id:minorun40:20171226141527p:plain

そうすると、二つのデータセットの行がマージされて一つのデータセットになります。

f:id:minorun40:20171226141930p:plain

f:id:minorun40:20171226141947p:plain

f:id:minorun40:20171226142034p:plain

 

ご参考  https://msdn.microsoft.com/library/en-us/Dn905871.aspx

 

このように、Azure Machine Learning Studio だけでも簡単にデータセットを結合することができます。

 

ただし、この方法は2つのデータセットしか結合できませんので、日付ごとにできた csvファイルなどを結合する場合、Add Rowsを複数並べることもできますが、ちょっと煩雑ですので、、できれば、別のサービスなどで前処理した方がスマートでしょう。

 この他、様々なデータセット加工モジュールが用意されていますので、色々試してみてください。

Azure Cognitive Services がノンコーディングでデモできます!(Intelligent Kiosk) ~その2 Realtime Driver Monitoring を試してみよう! ~

前回(Azure Cognitive Services がノンコーディングでデモできます!(Intelligent Kiosk) - 5月の青い空)の続きです。

 

さて、Intelligent Kioskが立ち上がりましたので、様々なAIのデモができるようになりました。

しかし、API Keyを登録しないと各種デモが動きません。ということで、API Keyを作成してみましょう。

まず、Azureのアカウントを用意します。もし、無いようであればこちらから。

無料の Azure アカウントを今すぐ作成 | Microsoft Azure

 

Realtime Driver Monitoring を試してみよう!~準備~

色々なデモシナリオがありますが、まずはRealtime Driver Monitoring を試してみましょう。各種デモには、必要なCognitive Services があります。Realtime Driver Monitoring には、Face API とComputer Vison API が必要です。

 

Azureポータルにログインします。

「新規」→「AI + Cognitive Services」と選びます。今回は、「Face API」を選んでみましょう。選んだら、「作成」ボタンを押します。

f:id:minorun40:20170909141047p:plain

Create画面になりますので、そこで各種設定を入れて作成します。内容的には無料枠で十分です。

f:id:minorun40:20170909141949p:plain

 

出来上がると、FaceAPIのビューが開きますので、そこで、「Keys」を開きます。

そのKEY1をコピーします。

f:id:minorun40:20170909141534p:plain

Intelligent kiosk の画面に戻り、左上のメニューを開いて「Settings」を開きます。

先ほどコピーしたKey1を貼り付けます。先ほど作成したFaceAPIのリージョンになっていることも忘れず確認しましょう。

あと、カメラ設定をするところがあるので、フロントカメラの設定を入れておきましょう(後で使います)

f:id:minorun40:20170909141914p:plain

 同じようにAzure Portal から「新規」→「AI + Cognitive Services」→「Computer Vison API 」を選びます。米国西部であることを確認して、無料枠で作成します。

f:id:minorun40:20170909222036p:plain

先ほどのFace API と同じようにKeysを開き、KEY1をコピーして、Intelligent kiosk のSettings に貼り付けます。

f:id:minorun40:20170909222823p:plain

f:id:minorun40:20170909222949p:plain

これで準備は完了です。

Realtime Driver Monitoring を試してみよう!~実践~

 いよいよRealtime Driver Monitoring を試してみます。

Intelligent Kioskのメニューから、「Demos」を選んで、「Realtime Driver Monitoring」を選択します。

f:id:minorun40:20170909223321p:plain

そうすると、ドライバーのモニタリング画面が表示されますね。

先ほど設定したカメラで撮っているものが映るようになっています。

f:id:minorun40:20170909224437p:plain

この、Realtime Driver Monitoring は、ドライバーの顔の状態をリアルタイムに分析し、異常を検知してくれます。例えば、目が閉じている、携帯電話で話している、こうした状態は異常であると検知して、それを表示してくれます。

・Head Pose
頭の位置が適正な状態かどうかを見ます。

・Mouse Aperture
口が開いているかどうかを見ます。

・Eye Aperture
目がきちんと明いているかどうかを見ます。

・Distractions
おかしな動作をしていないか。携帯電話で話している、などを検知

f:id:minorun40:20170909224607p:plain

※赤くなっているところは異常を検知

安全運転は大事ですね。眠くなったら少し休憩を入れましょう。

Drivers Idを登録してみよう!

Drivers Idという項目がありますね。こちらは、顔認証をしてくれる項目なんです。

自分の顔を登録してみましょう。

まず、メニューから「Settings」を選び、「Generate Workspace key」を押します。

f:id:minorun40:20170909225822p:plain

次に、メニューから「Face Identification Setup」を選びます。

f:id:minorun40:20170909225505p:plain

そうすると、新規追加画面に移りますので、Group の右の「+」でGroup 作成。その後、People の右の「+」で個人を作成します。

f:id:minorun40:20170909230105p:plain

そうすると、登録した名前で画像を検索してくれます。ここで、有名人であれば一発で登録が済むのですが、僕は有名ではないので、、、鈴木みのるがでてきちゃいますねw

画像の添付か、カメラでの撮影により、僕の顔写真を登録します。

f:id:minorun40:20170909230834p:plain

f:id:minorun40:20170909230927p:plain

納得いくものができたら、右上の実行ボタンを押します。

これで準備は完了です。

 

先ほどの「Realtime Driver Monitoring」に戻ると、僕の顔から名前を認識してくれています。

f:id:minorun40:20170909231111p:plain

これはUber でも活用されている技術なんですね~

www.youtube.com

これ以外にも、動画のリアルタイム分析を行ってくれる「Realtime Video Insights」や、画像のラベル判定モデルを作ることができる「Custom Vision Explorer」、カメラで撮影した画像に自動的にキャプションをつけてくれる「CaptionBot」など、Microsoft のCognitive Services の動作を、何もコーディングすることなく体験することができます。

ぜひ、いろいろと試してみて、Microsoft のCognitive Services を体験してみてください!体験してイカしたデモができたら、ぜひ周囲の方に見せてみましょう!

Azure Cognitive Services がノンコーディングでデモできます!(Intelligent Kiosk)

去る9/1に開催されたJapan Patner Conference でも、動画分析に関するCognitive Services のデモが見せられていましたが、そのデモでも使われたツール「Intelligent Kiosk」がUWP アプリケーションとしてWindows ストアで公開されています!

https://www.microsoft.com/en-us/store/p/intelligent-kiosk/9nblggh5qd84

f:id:minorun40:20170905133909p:plain

こちら、インストールして起動するだけで、Azure Cognitive Services がすぐにお試し頂けます!

これまでは、GitHub からClone してVisual Studio でビルドして実行する必要がありましたが、そうした環境が無くともいきなり立ち上がります。

 

やってみましょう。

実際にダウンロードして、起動してみると、OVERVIEWの画面になります。
右上のSign Inからスタートします。f:id:minorun40:20170905134402p:plain

Sign In画面が出ますので、ここでMicrosoft Accountがあればそれで、そうでなければ登録されているIDとパスワードでログインします。

f:id:minorun40:20170905134539p:plain

「Sign up now 」を選択して新規作成してみましょう。

f:id:minorun40:20170905134730p:plain

自分が登録したいメールアドレスを入力し、Send verification codeを押します。

すると、登録したメールアドレスにPin codeが来ますので、それをこちらの画面で入力します。

その後、パスワードと表示したい名前(Display Name)を入力して、Create ボタンを押します。

少し待つと、ログインが完了しました!

f:id:minorun40:20170905135048p:plain

メニューは、左上のf:id:minorun40:20170905135200p:plain箇所をクリックするとメニューが出ます。

f:id:minorun40:20170905135259p:plain

まずは、Settings で各サービスのAPI keyを登録し、

f:id:minorun40:20170905135434p:plain

Demos を選択して各サービスを使ってみる流れになります。

f:id:minorun40:20170905135545p:plain

結構ありますね。

とても簡単に使えますので、ぜひ試してみてください。

次回以降、いくつかのアプリを試してみたいと思います。

次回はこちら。

minorun40.hatenablog.com

Raspberry Pi オンラインシミュレータが使えるようになりました。

皆さん、IoTの検証をするためにデバイスを購入していますよね?

お金も多少かかりますし、クラウドやWeb系エンジニアとしてはデバイスのセットアップが結構面倒だったりしますね。

そうした方向けに、Raspberry Piのオンラインシミュレータが使えるようになっていました!

使い方は簡単、こちらのページで「RASPBERRY PI シミュレーターの起動」をクリックするだけ!ちなみに無料です!

docs.microsoft.com

 

起動すると、Raspberry Piのイメージ(アセンブリエリア)と、コーディングエリア、コンソールエリアが表示されます。

f:id:minorun40:20170801145205p:plain

ご使用のIoT HubのConnection Stringを設定して、実行するとIoT Hubへメッセージを送ってくれます!

送る際に、Lチカするのが地味にニクい。f:id:minorun40:20170801145908p:plain

 

このシミュレータでは以下のことが試せます。

・IoT Hubへのメッセージ送信

・IoT Hubからのメッセージ受信

・IoT Hubからのデバイスメソッド受信

 

 

コーディングエリアは自分で変更できますので、いろいろと試すことができます。

また、アセンブリ領域は、まだプレビューなのでロックされていますが、将来的には変更できるかもしれません。そうなると、夢が広がりますね(笑)

詳細な検証手順は例によって上記リンクに載っていますので、まずは試すだけでも簡単にできます。

また、ソースコードはこちらにありますので、ご確認ください。

github.com

ぜひ、お試しください!

Device Explorer が Azure Portal から使えるようになりました

Azure でIoTのシステムを構築する際に、Windowsであればデバイス管理のためのツール(Device Explorer)が提供されてきました。

github.com

f:id:minorun40:20170615151257p:plain

便利なツールであるものの、デバイス管理のたびに違うツールを立ち上げたり、デバイス作成のためにこのツールや、コードを実行するのはのはちょっと面倒、、、と思っておられたかもしれません。

 

そんな方向けに、いつの間にかAzure PortalでDevice Explorerの機能がリリースされています。

IoT Hubを作成すると、これまでなかったDevice Explorerのメニューがありますね。

Device Explorerを選択すると、今接続されているデバイス一覧が表示されます。

f:id:minorun40:20170615151928p:plain

 

「+追加」で新しいデバイスも登録できます。

f:id:minorun40:20170615152128p:plain

接続キーは自動的に発行されるので、出来上がったものをコピーしてコードに埋め込めば簡単に接続できますね。

 

ここでクエリをかけたりデバイスへメッセージを送ったりもできます。

f:id:minorun40:20170615152356p:plain

f:id:minorun40:20170615152334p:plain

一部機能(Monitorなど)は無さそうですが、これでだいぶ作業が捗りますね!

 

<ご参考>IoT Hubの各種仕様やチュートリアル

docs.microsoft.com

 <ご参考>Azure IoT SDK

github.com

 

不意に訪れる英語の会話に

皆さん、英語で会話してますか?

いきなり英語で会話が始まると戸惑いますよね。

そんな時、Microsoft Translator ライブ機能の出番です。

 

2017年4月にMicrosoft Translatorの日本語対応が発表されました。

news.microsoft.com

もしかしたら、皆さんもお試し頂いているかもしれません。

 

もちろん、スマホアプリもあるのですが、お互いにインストールが必要だとすぐに始められないので、ブラウザからできるとよいですよね。 

今日はそれをブラウザから試す方法をご紹介します。

ブラウザから以下の3ステップで、お互いの言語に翻訳されながら会話ができます!

・ログインして名前と言語を入力

・他の参加者と会話コードを共有

・話す!

 

まずはこちらのサイトへアクセス。

Microsoft Translator | Conversations | Break the language barrier

f:id:minorun40:20170531013627p:plain

「開始」→「会話」を選択してログイン

f:id:minorun40:20170531013924p:plain

名前を入れて言語を選択して、「参加する」を押します。

f:id:minorun40:20170531014352p:plain

マイクテストなどを経て、会議がスタートします。

f:id:minorun40:20170531014839p:plain

他の参加者は、ここで出てくる、英大文字5文字の会話コードか、QRコードをスキャンして会話に参加します。

 

もう一人参加させてみましょう。今度は英語を話す人という設定で。会話コードには、先ほどの英大文字5文字を入れます。

f:id:minorun40:20170531015136p:plain

会話がスタートしました。主催者の名前も見えますね。

f:id:minorun40:20170531015342p:plain

参加者が入ってくると、このように見えます。

f:id:minorun40:20170531015536p:plain

少し話してみましょう。

話す際にはスペースキーかこちらのボタンを押します。

f:id:minorun40:20170531015847p:plain

英語で話すと、相手の言語(日本語)に変換して表示されますね!

f:id:minorun40:20170531020043p:plain

もちろん、アプリからの参加も可能です!

Microsoft Translator

Microsoft Translator

  • Microsoft Corporation
  • 仕事効率化
  • 無料

 多言語でもそれぞれの言語で表示されますね!

f:id:minorun40:20170531021341p:plain

これはとても便利です。ぜひ、活用してみてください!

 

Azure IoT Suite Connected factory が本日から利用できます。

4/20にアナウンスされた、Azure IoT Suite Connected Factory が本日から使えるようになりましたので、さっそく動かしてみたいと思います。

azure.microsoft.com

Azure IoT Suite Connected Factory とは?

・複数の工場の稼働状況を管理するための機能やモニタリング、可視化、アラートの機能が事前に構成されている。

・利用開始はワンタッチ

・OPC UA接続をサポート

OPCとは何ですか? - OPC Foundation Japan (日本OPC協議会)

 

Get Started !

例によってGet Startedが公開されているので、こちらを参考に。

docs.microsoft.com

IoT Suiteはこちらから作成できます。

https://www.azureiotsuite.com/

開いてみると、、、おお、Connected Factoryができていますね。

f:id:minorun40:20170426162940p:plain

Connected factoryを選択し、必要な設定(たったの3つ)を入れます。

f:id:minorun40:20170426163034p:plain

本件に限りませんが、ご利用のサブスクリプションによっては、VMが起動できない箇所があったりしますので、ご注意ください。その場合は、リソースグループごと消して再チャレンジ!

結構待つと、、、無事に完成します。

f:id:minorun40:20170426163244p:plain

工場を選択するとこんな感じでドリルダウンできます。

f:id:minorun40:20170426163615p:plain

詳細な使い方、試し方はGet Startedのドキュメントをご参照ください。

Azure IoT Suite connected factory overview | Microsoft Docs

 

リリースされたばかりのTime Series Insightsもさっそく使われてますね。

f:id:minorun40:20170426163835p:plain

 ぜひお試しください。