微軟分布式機器學習工具包DMTK——初窺門徑

在現在機器學習如日中天的大背景下，微軟亞洲研究院的實習崗位中，機器學習組的工作也是維護DMTK，參與算法改進，那么在此之前我們得了解DMTK是個啥。

DMTK由一個服務於分布式機器學習的框架和一組分布式機器學習算法構成，是一個將機器學習算法應用在大數據上的強大工具包；無論是學術界的研究人員還是工業界的開發者，DMTK可以幫助他們在超大規模數據上靈活穩定地訓練大規模機器學習模型。

官網：http://www.dmtk.io/

DMTK 包括以下幾個項目：

• DMTK framework(Multiverso): 參數服務器架構的機器學習

• LightLDA: 用於大規模主題模型的可擴展、快速、輕量級系統.

• Distributed word embedding:文字嵌入分布式算法.

• Distributed skipgram mixture: 多義文字嵌入分布式算法

 

以Linux為例：

sudo apt-get install libopenmpi-dev openmpi-bin build-essential cmake git
git clone https://github.com/Microsoft/multiverso.git && cd multiverso
mkdir build && cd build
cmake .. && make && sudo make install

使用文檔：https://github.com/Microsoft/Multiverso/wiki

 

下面是一個簡單的例子：

#include <multiverso/multiverso.h>
#include <multiverso/util/log.h>
#include <multiverso/util/configure.h>
#include <multiverso/table/array_table.h>
using namespace multiverso;

int main(int argc, char* argv[]) {
  MV_SetFlag("sync", true);
  MV_Init(&argc, argv);

  ArrayTableOption<int> option;
  option.size = 500;
  ArrayWorker<int>*  table = MV_CreateTable(option);

  std::vector<int> model(100, 0);
  std::vector<int> delta(100, 1); 

  for (int iter = 0; iter < 100; ++iter) {
    table->Add(delta.data(), delta.size());
    table->Get(model.data(), model.size());
    // CHECK_EQ(model[i], (iter+1) * MV_NumWorkers());
  }

  MV_ShutDown();
}