機器學習/深度學習/其他開發環境搭建記錄

=======================================python源碼安裝===================================================

在項目部署的過程中發現公司centos系統中沒有bz2編解碼支持，從而python引用bz2失敗，不得已只好重新裝了一遍python

如果報錯：Ignoring ensurepip failure: pip 8.1.1 requires SSL/TLS，則yum install openssl-devel

=======================================python虛擬環境（py2.7 virtualenv）===================================================

場景介紹：部署python應用的時候總會碰到版本的問題，python不像java 有meavn這種自動構建和打包的工具，所以是通過在項目下安裝虛擬環境解決的；

那么我遇到的問題是服務器中大部分版本是python2.6,而我需要一個至少python2.7的環境。所以既需要安裝python包，又需要安裝虛擬環境

=======================================python下mysql支持===================================================

在以上鏈接沒有找到相應系統，相應python版本的驅動包，所以改用pymysql這個類庫。這個直接pip就可以了

=======================================pyspark環境安裝===================================================

2.解壓spark包，將spark下python\pyspark目錄拷貝到python安裝目錄的Lib/site-packages下

=======================================xgboost4.0安裝===================================================

　　我用到了git(內含git bash),Visual Studio 2012(10及以上就可以)，xgboost源碼（0.4版本），java 環境還需要maven（Win）

　　附：Visual Studio 2012下載 xgboost源碼（0.4版本）鏈接：http://pan.baidu.com/s/1i4Kem5B 密碼：ieox

　　檢查”…/xgboost-master/windows/x64/Release/”問件夾下是否含有“xgboost_wrapper.dll”如果含有，就表示前面兩步都成功了，下面進入最后一步安裝的過程。

　　復制xgboost_wrapper.dll xgboostjavawrapper.dll粘貼到xgboost-master\Java 里面　

　　通過maven下載commons-lang3-3.1.jar（不懂的搜下maven的commons-lang3-3.1.jar依賴）

　　在xgboost-master\java 里面，下載一下這個代碼，鏈接：http://pan.baidu.com/s/1dEWxABv 密碼：d6cs 替換掉xgboost4j 里面的代碼

　然后xgboost-master\java\xgboost4j\src\main\resources\lib 的dll文件刪掉，用你前面編譯好的xgboostjavawrapper.dll替換

命令行 cd 到xgboost-master\java\xgboost4j 里面 mvn package（git bash 推薦）

如果結果是這樣表示生成jar包成功，把jar包添加到工程里面就ok了。

4.使用指南
　　參數：http://blog.csdn.net/bryan__/article/details/52056112

　　在XGboost根路徑運行：cp make/config.mk config.mk
　　修改config.mk：

=======================================tensorflow(1.0.0版本)安裝===========================================

之后將一定將cuda添加到path環境變量中，然后將cuDNN的目錄拷貝到cuda的安裝目錄中

=======================================keras 安裝===================================================

解決下載自己對應py版本和win版本的scipy的包，再pip install 對應whl的scipy即可，然后安裝keras 成功

=======================================libffm1.14.0 安裝===================================================

======================================= mysql-python 安裝===================================================

========================================= lightGBM安裝 ======================================================

安裝gmp

tar jxvf gmp-4.3.2.tar.bz2
cd gmp-4.3.2
mkdir build;cd build
../configure --prefix=/data/gmp
make -j4
make install

注意 --prefix= 一定要配置到/data目錄，因為其他目錄沒有寫權限的哦！--prefix=就是配置安裝路徑的意思

安裝mpfr

tar jxvf mpfr-2.4.2.tar.bz2
cd mpfr-2.4.2
mkdir build;cd build
../configure --prefix=/data/mpfr --with-gmp=/data/gmp
make -j4
make install

記得一定要加--with-gmp=/data/gmp

安裝mpc

tar xzf mpc-0.8.1.tar.bz
cd mpc-0.8.1
mkdir build;cd build
../configure --prefix=/data/mpc --with-gmp=/data/gmp --with-mpfr=/data/mpfr
make -j4
make install

安裝GCC

先將以上安裝的依賴庫添加到環境變量

echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/mpc/lib:/data/gmp/lib:/data/mpfr/lib' >> ~/.bashrc
source ~/.bashrc

再回到/data，進行安裝GCC

tar jxvf gcc-4.8.4.tar.bz2
cd gcc-4.8.4
mkdir build;cd build
../configure --prefix=/data/gcc-4 -enable-threads=posix -disable-checking -disable-multilib --enable--long-long -enable-languages=c,c++,java --with-gmp=/data/gmp --with-mpfr=/data/mpfr --with-mpc=/data/mpc
make -j4
make install

其中make的過程估計要等40分鍾左右，然后到此GCC就編譯安裝成功啦

安裝cmake

tar zxvf cmake-3.9.0-Linux-x86_64.tar.gz
echo 'export PATH=$PATH:/data/cmake-3.9.0-Linux-x86_64/bin' >> ~/.bashrc
source~/.bashrc

安裝LightGBM

此時，如果你想把gcc添加到/usr/local/bin里面是不行的，因為沒有寫權限，所以我們配置一下LightGBM編譯時調用的GCC即可。LigthGBM是先通過Cmake生成的，所以編輯CMakeLists.txt即可。

cd LigthGBM
vim CMakeLists.txt
# 添加以下代碼在文件開頭
SET(CMAKE_C_COMPILER "/data/gcc-4/bin/gcc")
SET(CMAKE_CXX_COMPILER "/data/gcc-4/bin/g++")
# 保存退出后，就跟着官網教程，默認方式安裝即可
mkdir build ; cd build
cmake ..
make -j4
python ../python-package/setup.py install

附：win下pip 可以直接安裝

======================================================mongodb安裝================================================================================

安裝包：下載地址：https://www.mongodb.com/download-center#community

下文以mongodb的主目錄是為例，建立data,logs,和logs/mongo.log.

在主目錄添加配置文件如下：

dbpath=D:\MongoDB\Server\3.4\data #數據庫路徑  
logpath=D:\MongoDB\Server\3.4\logs\mongo.log #日志輸出文件路徑  
logappend=true #錯誤日志采用追加模式  
journal=true #啟用日志文件，默認啟用  
quiet=true #這個選項可以過濾掉一些無用的日志信息，若需要調試使用請設置為false  
port=27017 #端口號 默認為27017

啟動服務

mongod --config "D:\MongoDB\Server\3.4\mongo.conf" --install --serviceName "MongoDB"  
net start MongoDB

驗證服務

======================================================python打包egg================================================================================

背景：在pyspark開發的過程中driver程序需要引用其他的python模塊，所以這里需要用python打成egg供spark worker中調用

新建一個setup.py文件，例子如下：

 1 from setuptools import setup,find_packages
 2 setup(
 3     name='your_mod',
 4     version='1.0',
 5     url='',
 6     license='',
 7     author='arachis',
 8     author_email='arachis@xxxx.cn',
 9     description='',
10     packages = find_packages(),
11 )

然后運行python setup.py bdist_egg,如下是運行之后生成的三個目錄：

而dist目錄下就是我們需要的egg包：

安裝egg包

easy_install your_mod-1.0-py2.7.egg