機械学習やってみたいと思ったことありませんか？ワシもじゃ ワシもじゃみんな！！
Javaで使える機械学習ライブラリMahout（ Apache Mahout ）というものがあることを、職場の方に教えていただきました。
Mahout（ヒンディー語由来の「象使い」という意味で「マハウト」と読むそうです）というそうです。
ですが、今回は、Pythonで利用できる機械学習ライブラリ、TensorFlow を試していきたいと思います。
⇧ 手前味噌になりますが、この回の記事を参考にしていただければ、構築できるかと。tensorflowもインストールしてます。
※ Anacoda などは使わずにPython環境を構築しています。
Minikube内蔵のDockerでdockerdコマンド（Dockerのdaemonを操作するコマンド）が使えない問題は解決できていません...
結論から言うと、2018年9月30日（日）現在、Python 3.7でTensorFlowは使えないっぽいです...
⇧ 上記サイト様で、直したよんって言葉を信じてハマりました...直ってない気が...少なくとも自分の環境では駄目でした。
なので、今回もお時間のある方のみご照覧ください。
そいでは、レッツトライ～。
その前に、What's 機械学習？
そもそも、機械学習っていうものがよく分かっておらんのですよ、あたしゃ。
誤解を恐れずに言うと、人間が学習するように、機械にも学習することができるか？っていうことを試行錯誤するあれこれってことですかね。
機械って、処理が正確だし速いしで、人間には真似できないことをサラリとやってのけますね。よく、マシーンのように正確だ、とか喩えで使われますしね。
だが、しか～し！
⇧ 上記 の本で出てきた話なのですが、人間と機械には決定的な違いがあったという。
それは、情報のインプットに対し、人間はアウトプットを変えることができるが、機械は常に同じということを仰っていました。
インプットが同じ場合、
人間の場合のインアウトのイメージ図
⇧ アウトプットに至るまでの情報回路が毎回違ったものになってます。
機械の場合のインアウトのイメージ図
⇧ アウトプットに至るまでの情報回路は常に一定。
従来であれば、機械は同じInputを与えれば必ず同じOutputを返すという宿命を持っていたわけですが。
機械学習によって、この定説が覆されているようです。
「機械学習」と「ディープラーニング」は何が違うのか？
AI（人工知能）に学習させるのにもステップバイステップで、段階を踏んでいく必要があるようですね。
イメージ図
⇧ ざっくりとしたイメージ図だと、機械学習を突き詰めいてくと、ディープラーニングに至るという感じですかね？
Mahout（ Apache Mahout ）って？
今回は、使いませんが、Javaで利用できる機械学習ライブラリのApache Mahoutとは？
Wikipediaさ～ん！
Apache Mahoutは、Apache Software Foundationが管理する機械学習アルゴリズムのオープンソース・ソフトウェアである。
⇧ 正式名称は、 Apache Mahout ってことみたいですね。
Apache Mahoutは、協調フィルタリングやクラスタリング、クラス分類に特化されたスケーラブルなアルゴリズムを実装している。これらの実装の多くは、Apache Hadoopのプラットフォームが使用されている。
⇧ Hadoopは、名前だけは聞いたことがありましたが、 Hadoop無いと駄目なんですかね？（⇐ Hadoop無くても利用できるみたいです。）
⇧ 計算系に強いってことですかね。
⇧ まさかの駄目だし...。
Mahoutのコアとなるクラスタリング、クラス分類のアルゴリズムは、Apache HadoopのMapReduceのパラダイム上に実装されているが、これによってHadoopを利用しないと実装が制限されるわけではない。
⇧ お！Hadoopが導入できなくても利用できそうです。
例えば、Mahoutを使う上でメインディッシュとなる、協調フィルタリングによるレコメンダシステムコンポーネントは、Hadoopを使わない環境でも実行することができる。 Pregel（Google社で開発）ライクなGiraphなどの開発途上のプロジェクトとの統合も積極的に議論されている。
「Mahout」は、Hadoopのスケーラビリティを生かし、ビッグデータを用いた機械学習を可能にするライブラリです。レコメンド、クラスタリングといった機械学習のアルゴリズムがMapReduceで実装されており、コマンド・ラインやAPIからパラメータを指定するだけで、それらを利用できます。
⇧ 上記サイト様が詳しいですかね。
時間のある時に試していきたいですね。
TensorFlow って？
それでは、Pythonで利用できる機械学習ライブラリであるTensorFlowとは？
TensorFlow（テンソルフロー)とは、Googleが開発しオープンソースで公開している、機械学習に用いるためのソフトウェアライブラリである。
Pythonじゃなくても使えるみたいですね。
対応プログラミング言語はC言語、C++、Python、Java、Go。 対応OSは64ビットのLinux（ただしバイナリ配布はUbuntu用）、macOS、Windows。ハードウェアは CPU、NVIDIA GPU、Google TPU、Snapdragon Hexagon DSP などに対応していて、Android Neural Networks API 経由で Android 端末のハードウェアアクセラレータも使用できる。
学習させるために必要なデータが重要らしいですね 。
AIにも詳しいルーカス・ビーワルドは、GoogleはTensorFlowのコードをオープンソースにした事で、AIの真の価値はAIの「エンジン」ではなく、AIを賢くするのに必要な「データ」である事を示したと語った。そのためGoogleは「データ」の部分は公開しないだろうと述べた。
⇧ 上記サイト様によりますと、『Tensor（テンソル）= 多次元配列』みたいなイメージらしいです。
公式の説明だと、
TensorFlow は本来、Google のマシン インテリジェンス研究組織内の Google Brain チームに参加している研究者やエンジニアが機械学習や高度なニュートラル ネットワークの研究用に開発したものでしたが、このシステムは汎用性が高く、他の領域にも幅広く適用することができます。
う、う～ん...よく分からんですが、
より具体的に言えばTensorFlowは多次元のデータ構造を、流れるように処理することができる深層学習（ディープラーニング）を行えるライブラリとなります。
TensorFlowとは何か？基礎の基礎をわかりやすく解説！ | 侍エンジニア塾ブログ | プログラミング入門者向け学習情報サイト
ということらしいです。
まずは、TensorFlow を試してみようとしたが...
とりあえず、Python環境が構築でき、TensorFlowをインストールできているという前提で参りたいと思います。
自分の場合は、Visual Studio CodeにPythonの実行環境を作っています。
なので、Visual Studio CodeでPythonを実行する形で話を進めていきたいと思います。
まずは、Visual Studio Code を起動。
「ファイル(F)」>「フォルダーを開く(F)...」をクリック。
デスクトップに作成していたPythonのプロジェクト を指定し「フォルダーの選択」。
「HelloPython」ディレクトリ直下にPythonの仮想環境となる「.venv」というディレクトリを作成し、その中に「hello.py」というファイルを作成していました。
「hello.py」をそのまま使っても良いのですが、TensorFlow用に、新しくpythonのファイルを作成しときます。
プロジェクトのディレクトリの名前の部分にカーソルを持っていくと表示される、
をクリックすることで、新規ファイルが作成できます。
ファイル名を適当に入力します。
今回は、「tens.py」としました。
ファイルが作成されました。
ファイルを編集。
import tensorflow as tf
hello = tf.constant('Hello, Hello World！')
sess = tf.Session()
print(sess.run(hello))
そしたらば、保存します。
ソースコードを実行してみます。
のアイコンをクリックし、「デバック」が、「Python：Current File」になっている状態で、
をクリック。
で、エラー。
⇧ 何でも、Python 3.7 で「async」というキーワードが予約語になったことによる影響らしい。というか、Pythonの開発者、いまさら「async」を予約語にしてんじゃね～！
絶対に既存のライブラリに影響するでしょうが！Google様が作り出したTensorFlowも例外でなく、見事にエラーになりますな。
⇧ 「async」なってるところを「async1」に変えちゃえばOKって言ってるけど...
まぁ、たしかに、予約語を使わないことにはなるんでしょうけど、根本的な解決になってない気はしますね。
なんか、
⇧ Python 3.7 でも、tensorflow を動くようにしたよ！ってありますね。2018年8月28日にmasterにマージしたって言ってますね。
https://github.com/tensorflow/tensorflow/releases によると、「TensorFlow 1.11.0」が最新版としてリリースされたのが、2018年9月27日らしいと。
最新版のTensorFlowなら、Python 3.7 でも動くと。
tensorflowのバージョンを確認
ちなみに、pipでインストールしたpythonのライブラリなんかは、プロジェクトのディレクトリの中に作成したPythonの仮想環境のディレクトリである「.venv」の下にディレクトリが作られ、「Pythonのプロジェクトディレクトリ¥.venv¥Lib¥site-packages」に格納されるようです。
Visual Studio Codeのターミナルで、Pythonの仮想環境にログインして、tensorflowのバージョンを確認してみます。（Windowsの場合、ターミナルのデフォルトは、PowerShellになっているかと。）
PowerShellの場合は、「.venv¥Scripts¥activate.ps1」を実行する感じで。
では、Visual Studio Codeのターミナルで、下記コマンドを実行。
[Pythonの仮想環境ディレクトリ]\Scripts\activate.ps1
先頭に、「(.venv)」って付いていれば、Pythonの仮想環境にログインできたということみたいです。
pip list で、インストール済みのライブラリの一覧が確認できます。
で、インストール済の個別のライブラリのバージョンを確認するには、
pip show [ライブラリ名]
でいけるそう。tensorflowのバージョンは、1.10.1 ってなってますね。
https://github.com/tensorflow/tensorflow/releases によると、「TensorFlow 1.11.0」が最新版としてリリースされているらしいです、2018年9月28日（土）現在。
pipで最新版にアップデートできるのか分かりませんが、試してみます。と思ったら、pipenv（pipでインストールできる）でなら、tensorflow の依存関係のパッケージも良しなに取り計らってくれるということで、
pipenv update tensorflow
良しなに取り計らって...ないという...駄目じゃん、全く依存関係を解決できてないじゃん...
⇧ 前回のときも、依存関係のキャッシュをクリアすればイケるって言っていてイケなかったんですが...
⇧ やっぱ変わらんですね。
⇧ ナイスガイのほうでトライ。
途中まで、何か処理が進んだけど、結局、最後は同じ結果ですが...
まぁ、何の進展もないという...
pipでアップデートしようとしたら、見つからんと。
⇧ 上記サイト様によりますと、「pip install -U [パッケージ名]」でした。
何となく、予想はしてたけど、pipでインストールできる最新に、1.11.0 は含まれていないみたい、と思ったら、
パッケージの検索で、LATEST： 1.11.0 ってあるやんけ～！
更新できるパッケージでも、tensorflowあるやん！
⇧ 上記サイト様によりますと、全部更新は、
pip list -o | awk '{print $1}' | xargs pip install -U
でOKらしい。
⇧ 駄目ですけど...そもそも、Windowsでawk がデフォルトで使えるとは思えないし、これ、完全にLinuxとかの話ですかね？
致し方ないですが、Windowsの場合は、「pip-tools」をインストール って感じになりますかね。（「awk」をインストールでもOKかもしれませんが。）おりゃ～。
pip install pip-tools
インストールされたか確認しておきます。
pip show pip-tools
そしたら、今回は全部更新しちゃいます。（本番のプロジェクトとかだと御法度ですよ～、たぶん。）
pip-review –auto
はい、エラー、話が違うんですが...
⇧ はい、出た～。Windows環境で、Python3系では、pip-review は使えませんというWindows除け者問題。
いや～、Windowsでのpython利用は壁が多すぎますな～。
どうやら、
pip-review was originally part of pip-tools but has been discontinued as such. See Pin Your Packages by Vincent Driessen for the original introduction. Since there are still use cases, the tool now lives on as a separate package.
GitHub - jgonggrijp/pip-review: A tool to keep track of your Python package updates.
⇧ pip-toolsの一部であった pip-reviewが、独立したらしい。つまり、「pip-review」単体でインストールしてということらしい...そんなピン芸人になりました～みたいな軽いノリで来られても困るんですけどね。
おりゃ～。
pip install pip-review
インストールできました。
パッケージの一括更新。
pip-review -auto
⇧ とりあえず、tensorflowの更新に必要なパッケージの更新はできたっぽいですかね。
⇧ 上記サイト様によりますと、最新の依存パッケージをインストールした状態で、
- You pin the new version of (or unpin) whatever package you want in your
Pipfile - You run
Pipenv update - Pipenv runs
pipenv lockas a result in order to make sure that your change is also OK with the rest of the packages you have installed - Pipenv then runs
pipenv syncto sync the new lockfile with your environment
lockファイルを更新してあげれば、いけるらしいとのこと。
⇧ 何となく、希望の光が！
では、改めて、tensorflow を更新してみます。
pipenv update tensorflow
⇧ 駄目や～ん！
キャッシュを消してみます。
⇧ 変わらんやんけ！
pipでアップデートしようとしたら、
⇧ 依存関係のパッケージのバージョン下げてるし...意味不明
バージョン指定とかしても、 エラーになる。
一旦、アンインストール。
そして、インストール。
エラー、意味が分からん...バージョン指定しなければ最新版がインストールされるって話のはずだけど？
⇧ パッケージ検索で、1.11.0 ってなってますけど？何故、インストールされない？
zipから直接インストールしようとするもエラー。
⇧ 上記サイト様によりますと、
pip install --upgrade setuptools
でいけるらしい。
⇧ 駄目でした...
どうやら、2018年9月30日（日）現在において、
⇧ Python3.7でtensorflowを利用するには、pip によるインストールは不可らしい...バッケージ管理ツールの意味が全く無いという...。
「protobuf」「eigen」っていうパッチファイルのテキストを使うみたいです。
それぞれの遷移先の、「Download Zip」をクリックでダウンロードしておきます。
ということで、
⇧ 上記で、zipで落としたものを、直接配置してみます、もはやパッケージ管理が何の意味もなしていないけど。「Pythonのプロジェクトディレクトリ¥.venv¥Lib¥site-packages」に配置してます。
で、配置できましたら、 先程ダウンロードしておいたパッチファイルを、配置します。
ファイルを置き換えるって聞かれた場合は、置き換えます。
そしたらば、「workspace.bzl」ってファイルに、
patch_file="//tensorflow:[protobuffilename.txt]" patch_file="//tensorflow:[eigen3filename.txt]"
を追記するようです。
Visual Studio Code で、「Pythonのプロジェクトディレクトリ¥.venv¥Lib¥site-packages¥tensorflow¥workspace.bzl」を開いて、
PROTOBUF_URLS = [
"https://mirror.bazel.build/github.com/google/protobuf/archive/v3.6.0.tar.gz",
"https://github.com/google/protobuf/archive/v3.6.0.tar.gz",
]
PROTOBUF_SHA256 = "50a5753995b3142627ac55cfd496cebc418a2e575ca0236e29033c67bd5665f4"
PROTOBUF_STRIP_PREFIX = "protobuf-3.6.0"
ってなってるところを、
PROTOBUF_URLS = [
"https://mirror.bazel.build/github.com/google/protobuf/archive/v3.6.0.tar.gz",
"https://github.com/google/protobuf/archive/v3.6.0.tar.gz",
]
PROTOBUF_SHA256 = "50a5753995b3142627ac55cfd496cebc418a2e575ca0236e29033c67bd5665f4"
PROTOBUF_STRIP_PREFIX = "protobuf-3.6.0"
PROTOBUF_patch_file = "//tensorflow:protobuf-patch.txt"
とし、
tf_http_archive(
name = "eigen_archive",
urls = [
"https://mirror.bazel.build/bitbucket.org/eigen/eigen/get/fd6845384b86.tar.gz",
"https://bitbucket.org/eigen/eigen/get/fd6845384b86.tar.gz",
],
sha256 = "d956415d784fa4e42b6a2a45c32556d6aec9d0a3d8ef48baee2522ab762556a9",
strip_prefix = "eigen-eigen-fd6845384b86",
build_file = clean_dep("//third_party:eigen.BUILD"),
)
ってなってるところを、
tf_http_archive(
name = "eigen_archive",
urls = [
"https://mirror.bazel.build/bitbucket.org/eigen/eigen/get/fd6845384b86.tar.gz",
"https://bitbucket.org/eigen/eigen/get/fd6845384b86.tar.gz",
],
sha256 = "d956415d784fa4e42b6a2a45c32556d6aec9d0a3d8ef48baee2522ab762556a9",
strip_prefix = "eigen-eigen-fd6845384b86",
build_file = clean_dep("//third_party:eigen.BUILD"),
patch_file = "//tensorflow:eigen-win32-patch.txt"
)
とします。そしたら、「workspace.bzl」を保存します。
そうすると、tensorflow 自体のインポートは上手くいきますが、Constの問題が残っているようです。
That seems to be the place for working on what will be the final version, but I'm just putting this out there if anyone wants a quick fix in the meantime (currently that PR conflicts). This version casts away consts, so it isn't exactly safe but should be fine if you just want things up and running. Tensorflow overuses const_cast but that is an issue for another day.
Just merging this branch into your own work is an easy option if you need to build for 3.7. I'll close this PR when the other branch gets finished.
Quick Fix for Python 3.7 by bstriner · Pull Request #21202 · tensorflow/tensorflow · GitHub
で、無理やりデバッグで実行してみたら、
結局、tensorflowのライブラリ読み込めないんかい！
なんか、結局、Windowsでは、いまのところpython3.7でtensorflowは動かんらしいっすね、動いたって言ってる人も結果を載せてくれてないから信憑性が無いし。
まぁ、Python 3.7の対応版のTensorFlowが出るまでは、Python 3.6 にダウングレードして利用していくしか無いっすかね。
いや～、時間を無駄にしてしまった...何か、最近こんなばっかりで、徒労感が半端ないっすね、まぁ、Python初心者なんで、こんなもんですかね。
ということで、2018年9月30日（日）現在、Python 3.7 に、少なくともOfficialなTensorFlowは対応してないらしいので気をつけてくださいということで。
個人的に思ったことは、Python 3.7 を出すタイミングは時期尚早だったんじゃないかと思うんですがね、しばらくしたらPython 3.8 も出るとかいう話ですし、何がしたいのかよく分からんですね...。
時間あるときに、Python 3.6系でTensorFlowは試していくということで。
2018年10月1日（月）追記：↓ ここから
ということで、Python 3.6系を導入しようということで、
⇧ 上記サイト様によりますと、Chocolateyでインストール先を指定できるっつうんで、Python 3.6系をChocolatey でインストールしようとしたら、
choco install python3 --version 3.6.6 -y -o -ia "'/qn /norestart ALLUSERS=1 TARGETDIR=c:\Python36'"
⇧ できないやんけ～！どうやらPython3系（自分の場合、Python 3.7がインストールされています）が既にインストールされてるとNGらしい。
そういった場合は、multiple version というオプションでいけるらしい。おりゃ～！
choco install python3 --version 3.6.6 -y -o -ia "'/qn /norestart ALLUSERS=1 TARGETDIR=c:\Python36'" -m
そしたら、インストーラーが立ち上がるので、「Customize installation」を選択。
このへんは、デフォルトの状態にしました。（よく分からんです）。「Next」をクリック。
そしたらば、「Browse」をクリックして、インストール先を指定します。
※ 環境変数にPath を通してはいけないようなので、「Add Python to enviroment variables」にチェックが入っている場合は、必ずチェックを外します。
今回は、「C:\Python3.6」に配置したいと思います。Cドライブを選択した状態で、「新しいフォルダーの作成(N)」 を選択。
名前を入力する状態になるので、
「Python 3.6」にしました。
そしたらば、「OK」で。
そしたら、「Install」で。
そしたらば、「Close」で。
これで、 Python 3.6 もインストールできました。（フォルダー名が...「Python36」にすべきだった。）
⇧ 上記サイト様によりますと、Python 3.3 以上で、py.exe というものが導入され、Pythonが複数インストールされている場合に便利らしい。
⇧ バージョンを指定しないと、環境変数にパスが設定されているほうが優先されるってことですかね？
一応、Python 3.6 系のほうにも、pipenv をインストールしていきたいと思います。
py -3.6 -m pip install pipenv
⇧ パスに関して警告されてもね...
⇧ とりあえず、Python 3.6.6 のほうに、pipenv インストールできたようです。
Python 3.6.6 の pipのバージョンも上げときます。
py -3.6 -m pip install --upgrade pip
では、Python3.6を利用するようのプロジェクトディレクトリを適当に作成します。「ReHelloPython」というディレクトリをデスクトップに作成。
Visual Studio Code を起動。
「ファイル(F)」>「フォルダーを開く(F)...」を選択。
さきほど作成したディレクトリを選択。
そしたらば、今度は、「表示(V)」>「ターミナル(T)」を選択。
ターミナルとして、PowerShellが起動するので、
Python3.6.6 の仮想環境を作成します。「C:¥Python3.6」の部分は、ご自分のインストール先に合わせてください。
pipenv --python C:\Python3.6\python.exe
⇧ 「.venv」が作成されていればOK。
そしたらば、Pythonの仮想環境にログインするための、PowerShell用のスクリプトが用意されているので、ターミナルで実行します。
自分の場合ですと、「C:\Users\Toshinobu\Desktop\ReHelloPython\.venv\Scripts\activate.ps1」ってファイルになります。
仮想環境にログインします。
.venv\Scripts\activate.ps1
Visual Studio Codeで、Pythonを実行できるように設定。
をクリック。デバックの▽ボタンをクリックで、「構成の追加...」を選択。
「launch.json」ファイルというものが作成されます。はじめての場合、ファイル作成前に、プログラミング言語の選択が出てくるかもなので、そのときは「Python」を選択してください。
「launch.json」ファイルの以下の部分を、
{
// IntelliSense を使用して利用可能な属性を学べます。
// 既存の属性の説明をホバーして表示します。
// 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "Python: Current File",
"type": "python",
"request": "launch",
"program": "${file}",
"console": "integratedTerminal"
},
...省略
以下のように編集します。
{
// IntelliSense を使用して利用可能な属性を学べます。
// 既存の属性の説明をホバーして表示します。
// 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "Python: Current File",
"type": "python",
"request": "launch",
"program": "${file}",
"env": {
"PYTHONPATH": "${workspaceFolder}"
},
"console": "integratedTerminal"
},
...省略
そしたら、ターミナルで、TensorFlow をインストール。仮想環境の中であれば、普通にpipコマンドを使っても、Python 3.6.6 のほうのpipって認識されるんではなかろうか。
pip install tensorflow
⇧ tensorflow 1.11.0 がインストールされています。
では、Visual Studio Codeのエクスプローラーで、pythonのファイルを作成します。
いまだに、「.venv」の中にPythonファイルを作成すべきなのかがよく分からんですが「.venv」を選択した状態で、
をクリックすることで、新しいファイルを作成します。
適当にファイル名を。拡張子は「.py」で。
ファイルを編集。
import tensorflow as tf
hello = tf.constant('Hello, Hello World!')
sess = tf.Session()
print(sess.run(hello))
で保存すると、
⇧ pylint による警告が。
⇧ 上記サイト様によりますと、とりあえず、実行もされてimportもできるらしい。何でもVisual Studio Code 側の問題らしい。
本当に実行できるのか、トライ。 をクリックで、デバッグ。
思いっきり、例外が発生しとるのだが...
とりあえず、デバッグを停止して。
「ターミナル」に戻って、
仮想環境にログインし直して、
pylint をpip でインストール。
⇧ しても効果ナッシィングビート。
⇧ 上記サイト様によりますと、「ファイル(F)」>「基本設定(P)」>「設定(S)」から、
「ワークスペースの設定」の編集でイケるらしい。
ってなってるのを、
{
"python.pythonPath": "C:\\Users\\Toshinobu\\Desktop\\HelloPython\\.venv\\Scripts\\python.exe"
}
いまのPythonのプロジェクトのものに合わせます。
{
"python.pythonPath": "C:\\Users\\Toshinobu\\Desktop\\ReHelloPython\\.venv\\Scripts\\python.exe"
}
で、保存。インポートエラーが消えました！
デバッグの実行の結果は？
無事、実行できました！
tensorflow を使ってのHello World にここまで躓く人間は私ぐらいなもんでしょうね（涙）。
2018年10月1日（月）追記：↑ ここまで
今回はこのへんで。
