チームで活用するAnaconda入門
- 2. ⾃⼰紹介 u Economic Index(エコノミック インデックス) u マーケティング向けデータ分析、⾦融関連のデータ分析サービスの提供 u 機械学習、ビッグデータ分析など u Pythonとの関わり u 機械学習周りでScikit-Learnなどを利⽤ u 統計分析周りでpandas, statsmodelsなどを利⽤ u WebアプリとしてPyraimidなどを利⽤ u インフラ周りでAirflow/Celeryなどを利⽤ u Spark、Kafka、などScala/Pythonを併⽤
- 3. データサイエンスとPython開発環境 〜Anacondaのご紹介 u 通常のPython開発 u pyenv でpythonのバージョン管理 u Virtualenv でpythonの環境(ENV)管理 u pip でpythonのパッケージ管理 u Anacondaなら、全部１パッケージで管理が可能! u conda でpythonのバージョン、環境、パッケージ管理 u オマケに u バイナリパッケージで楽々セットアップ♪ u Anaconda Cloudで開発環境のチーム内共有ができる u R⾔語も使える(移植に便利♪) ※ Continuum Analyticsの回し者ではありません
- 4. Anacondaプラットフォーム 〜Continuum Analytics u Continuum Analytics社 u データサイエンス向けのPythonパッケージを利 ⽤したソリューションを提供 u エンタープライズ向けにはSaaSとしてJupyter上 で利⽤可能な分散計算基盤など提供 u ユーザー(データアナリスト)視点では… u 整備されたscikit-learn, pandas, numpy環境 u チームでの環境、分析結果の共有 u お⼿軽な分散処理基盤(エンタープライズ版) u 特にnumpy関連のコンパイルに時間を割きたくな い忙しい⼈にオススメ！ ※ Continuum Analyticsの回し者ではありません
- 5. インストール u パッケージをダウンロード(MacOSXの場合/CLIインストール) u GUIインストールがお⼿軽です u CLIとは違い /anaconda/bin にインストールされます $ bash Anaconda3-4.1.1-MacOSX-x86_64.sh # デフォルトでは ~/anaconda/bin にインストールされる $ vi ~/.bash_profile # 追記してパスを通す # export PATH="/Users/$USER/anaconda/bin:$PATH"
- 6. 使い⽅の⽐較 u 環境作成〜パッケージのインストール〜環境の復元・共有 $ conda create --name myenv python $ source activate myenv (myenv) $ conda install pandas # condaにパッケージが無ければ # pipも使えます! (myenv) $ conda env export > myenv.yml (myenv) $ source deactivate $ conda env create -f myenv.yml # pipでインストールした内容もymlに書き出され ています $ virtualenv –p /usr/bin/python myenv $ . myenv/bin/activate (myenv) $ pip install pandas (myenv) $ pip freeze > requirements.txt (myenv) $ deactivate $ pip install –r requirements.txt
- 7. Anaconda Cloudの使い⽅ 〜パッケージの共有 # パッケージのビルド (CRANのRパッケージをconda用にビルドする) $ conda install conda-build $ conda skeleton cran rmysql $ conda build r-rmysql (省略) # アップロード $ anaconda login Using Anaconda Cloud api site https://api.anaconda.org Username: ykato ykato's Password: ****** $ anaconda upload /Users/ykato/anaconda/conda-bld/osx-64/r- rmysql-0.10.9-r3.3.1_0.tar.bz2 # 利用 $ conda install –c ykato r-rmysql Rパッケージのビルド詳細→https://www.continuum.io/content/conda-data-science
- 8. Anaconda Cloudの使い⽅ 〜環境(ENV)の共有 # 環境ファイルのエクスポート $ conda env export --name myenv > myenv.yml # アップロード $ anaconda login $ conda env upload -f myenv.yml # 利用 $ conda env create ykato/myenv $ source activate myenv Anaconda Cloudについて→https://docs.continuum.io/anaconda-cloud/quickstart.html
- 9. Anaconda Cloud の注意点 u Privateにするには$7/month u ノートブックの共有をするなら、有料プランにしないとダメ u Web系のパッケージはあまり揃っていないので、基本pip頼り u 役⽴つシーンは限定される u Scikit-learn、pandasなどnumpyを使うパッケージ u R⾔語のポーティングなどの⽇常的なコード u ノートブックだけ(データ分析班)ならZeppelinもアリ u 社内DBへの接続や分散処理環境の設定などが共有しやすい