從人人網抓取高校數據信息，包括，省份 - 高校 - 院系 (提供最終SQL文件下載)

從人人網抓取高校數據信息，包括，省份 - 高校 - 院系 

Author: handt

Blog    : www.cnblogs.com/handt

涉及到的腳本和 SQL 文件 點此下載

=========== 正文部分 ==============

思路分析：

1. 獲得高校數據

地址：http://s.xnimg.cn/a44177/allunivlist.js （通過分析頁面請求確定為該文件）

對該文件進行人工分析，結合頁面彈出框，可以得知，該js文件包含了 國家、城市、學校 信息。文件為 “非標准” json格式：所有key值均未加雙引號。比如其中大學信息格式為：

{id:1,univs:[{id:1001,name:"\u6e05\u534e\u5927\u5b66"}

標准 JSON 格式的id，univs，name 都應該用雙引號包圍。關於JSON格式的簡單介紹可以參見《PHP 與 JSON》

 

因此，第一步 應該是格式化數據文件，轉換為標准JSON格式，以便直接用PHP的 json_decode 函數處理。

接下來，具體分析該文件的字段信息。

出於提高訪問速度的考慮，allunivlist.js 文件被壓縮在同一行。為了快速分析該文件，提供一個小技巧：將文件另存到本地，用vim打開，使用 vim 的括號匹配功能（shift+5）從最外層逐漸開始分析。（vim更多知識可以參見《Vimtutor拾遺》）

經過分析，文件整體結構為

[{國家1},{國家2},{國家3}....]

國家定義：{id:xxx, univs:xxxx, name:xxxx, provs:xxxx, country_id:xxx}  (provs表示省份)

provs：[{省份1},{省份2},{省份3}....]

省份定義：{id:xxx, univs:xxx, country_id:xxxx, name:xxxx} (univs表示大學)

univs: [{大學1},{大學2},{大學3}....]

大學定義：{id:xxx, name:xxxx}

通過該文件，能夠獲取到中國所有省份的高校信息。

對應的，可以建立數據表school：

CREATE TABLE `school` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `sid` int(11) DEFAULT NULL COMMENT '學校id',
  `cid` int(11) DEFAULT NULL COMMENT '所在城市id',
  `name` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '名字',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3198 DEFAULT CHARSET=latin1;

 

2. 獲取各高校的院系信息

人人網查詢高校院系的接口為：http://www.renren.com/GetDep.do?id=高校ID

這里的 高校ID 即為1中“大學定義”部分高亮標識的id，亦即數據表中的sid。

該接口的返回信息很簡單，一個<select>元素，其中的<option> value 就是院系信息。

對於院系信息，可以建立數據表 department：

CREATE TABLE `department` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `sid` int(11) NOT NULL COMMENT 'school id',
  `did` int(11) NOT NULL COMMENT 'department id',
  `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL COMMENT 'department 名字',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=30044 DEFAULT CHARSET=latin1;

---

確立了思路之后，下面開始動手。采用 PHP + MYSQL 完成編碼部分內容。

1. 獲得高校數據：

1.1 讀取文件並將初始化為標准 JSON 格式

將 http://s.xnimg.cn/a44177/allunivlist.js 文件另存到本地。

因為這里只需要中國的數據，可以將 [{國家1},{國家2},{國家3}....] 中其他國家的內容刪除。同時，開頭的 ‘ var allUnivList=’ 也刪掉。簡單處理后，文件在括號匹配上是符合json格式的。

接下來讀取文件，對形如 ‘#(?P<name>\w+):#i’ 的數據，進行替換，在前后均添加雙引號。

讀取文件和初始化代碼：

function x_readfile($filename)
{
    $handle = fopen($filename, 'r');
    $contents = fread($handle, filesize($filename));
    fclose($handle);
    return $contents;
}

$content = x_readfile('allunivlist.js');
// 將文件初始化為標准JSON格式
$pat = '#(?P<name>\w+):#i';
$replacement = '"${1}":';
$str = preg_replace($pat, $replacement, $content);
$ret = json_decode($str, true); // true 返回的是關聯array類型，否則為class

 

1.2 生成要插入數據庫的語句：

通過循環，生成形如 ‘insert into school(sid, cid, name) values(xxx, xxx, xxx)’的語句。

$ret 變量是 json_decode 后的關聯數組，回顧 1 中分析的數據結構：

provs：[{省份1},{省份2},{省份3}....]

省份定義：{id:xxx, univs:xxx, country_id:xxxx, name:xxxx} univs表示大學

univs: [{大學1},{大學2},{大學3}....]

大學定義：{id:xxx, name:xxxx}·　　

利用如下代碼進行處理：

// 提取 城市 - 學校 信息
// 省份{id, univs, country_id, name}
// 學校{id, name}
foreach($ret as $k => $v)
{
    // $k : order id
    // $v : detail array(id, univs, conntry_id, name)
    // table: id, cid, sid, name  (city, school, name)
    $name = my_decode($v['name']);
    create_insert_sql($v['id'], 0, $name);  // $v['univs']表示當前省份下的所有高校
    foreach($v['univs'] as $university){
        $name = my_decode($university['name']);  // 學校{id, name}
        create_insert_sql($university['id'], $v['id'], $name);
    }
}

這里用到了my_decode函數，對形如‘\uaaaa\ubbbb’的字符進行編碼處理：

function replace_unicode_escape_sequence($match) {
    return mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UTF-8');
}
// solution from:http://stackoverflow.com/questions/2934563/how-to-decode-unicode-escape-sequences-like-u00ed-to-proper-utf-8-encoded-cha
function my_decode($str)
{
    return    $str = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', 'replace_unicode_escape_sequence', $str);
}

create_insert_sql 函數用來生成進行插入的sql 語句。為了方便，這里直接將sql語句用echo顯示在網頁上。再將網頁文字直接復制到sql 客戶端中（筆者使用的navicat）執行。

function create_insert_sql($sid, $cid, $name)
{
    $sql =  'insert into ' . TABNAME . '(sid, cid, name) values (' . $sid . ',' . $cid . ',"' . $name . '");';
    echo $sql . '<br/>';
    return $sql;
}

獲取高校信息的完整代碼如下（點擊展開）：

<?php
define('TABNAME', 'school');

function x_readfile($filename)
{
    $handle = fopen($filename, 'r');
    $contents = fread($handle, filesize($filename));
    fclose($handle);
    return $contents;
}
function replace_unicode_escape_sequence($match) {
    return mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UTF-8');
}
// solution from:http://stackoverflow.com/questions/2934563/how-to-decode-unicode-escape-sequences-like-u00ed-to-proper-utf-8-encoded-cha
function my_decode($str)
{
    return    $str = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', 'replace_unicode_escape_sequence', $str);
}

function create_insert_sql($sid, $cid, $name)
{
    $sql =  'insert into ' . TABNAME . '(sid, cid, name) values (' . $sid . ',' . $cid . ',"' . $name . '");';
    echo $sql . '<br/>';
    return $sql;
}

$content = x_readfile('cu.js');
// 將文件初始化為標准JSON格式
$pat = '#(?P<name>\w+):#i';
$replacement = '"${1}":';
$str = preg_replace($pat, $replacement, $content);
$ret = json_decode($str, true);
// 提取 城市 - 學校 信息
// 省份{id, univs, country_id, name}
// 學校{id, name}
foreach($ret as $k => $v)
{
    // $k : order id
    // $v : detail array(id, univs, conntry_id, name)
    // table: id, cid, sid, name  (city, school, name)
    $name = my_decode($v['name']);
    create_insert_sql($v['id'], 0, $name);
    foreach($v['univs'] as $university){
        $name = my_decode($university['name']);
        create_insert_sql($university['id'], $v['id'], $name);
    }
}

?>

 

2. 獲得院系信息

在 1 中已經成功生成了 省份 - 高校 數據。院系信息只需要通過接口，循環訪問即可。

2.1 獲取學校ID 集合

標准的數據庫連接操作。利用while循環，將所有sid存儲在 $sids 數組中。

// 獲取所有學校id
$link = mysql_connect(MYSQL_HOST, MYSQL_USER, MYSQL_PASS);
if (!$link) {
    die('Could not connect: ' . mysql_error());
}
$db_selected = mysql_select_db(DATABASE, $link);
if (!$db_selected) {
    die ('Can\'t use : ' . mysql_error());
}
mysql_query("set names utf8;"); 
$sql_statement = 'select sid from school where cid != 0';
$result = mysql_query($sql_statement, $link);
$sids = array();
while($row = mysql_fetch_array($result)){
    $sids[] = $row['sid'];
}

2.2 調用接口，循環訪問各高校院系數據

這里使用到了存儲過程進行數據庫讀寫操作，具體分析參看下文的 A) 部分。

// 根據學校 id 去發起請求，一共3163個學校，可見請求之多
$baseurl = 'http://www.renren.com/GetDep.do?id=';
for($i = 0; $i < count($sids); $i++){
    $content = x_readfile($baseurl . $sids[$i]);
    $pat = '#<option[^>].*?>(.*?)</option>#i';
    $matches = array();
    preg_match_all($pat, $content, $matches);
    // 拋棄第一條結果：<option value=''>院系</option>
    array_shift($matches[1]);
    try {  
        $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

        $dbh->beginTransaction();
        $dbh->exec('set names utf8;');
        foreach($matches[1] as $k => $v){
            $dbh->exec(create_insert_sql($sids[$i], $k + 1, mb_convert_encoding($v, 'UTF-8', 'HTML-ENTITIES')));
        }
        $dbh->commit();

    } catch (Exception $e) {
        $dbh->rollBack();
        echo "Failed: " . $e->getMessage();
    }
}

因為是訪問網絡文件，x_readfile有所改變：

function x_readfile($filename)
{
    $handle = fopen($filename, 'r');
    $contents = stream_get_contents($handle);
    return $contents;
}

 

沒有過於復雜的思路，不過細節上要提到兩點。

A) 使用存儲過程寫入數據庫

在1.2中生成的sql語句，是直接使用mysql客戶端執行的。對於3000多條數據，一條條執行，速度很慢。考慮到院系數據可能是高校數據的10倍，應該用更快的方式寫數據庫。因此，使用到了存儲過程。

PHP中存儲過程的使用可以參看PHP手冊，這里給出示范代碼：

// 初始化 PDO 存儲過程
try {
    $dsn = 'mysql:dbname=' . DATABASE . ';host=127.0.0.1';
    $dbh = new PDO($dsn, MYSQL_USER, MYSQL_PASS,
            array(PDO::ATTR_PERSISTENT => true));
} catch (Exception $e) {
    die("Unable to connect: " . $e->getMessage());
}
.......
.......
    try {  
        $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

        $dbh->beginTransaction();
        $dbh->exec('set names utf8;');
        foreach($matches[1] as $k => $v){
            $dbh->exec(create_insert_sql($sids[$i], $k + 1, mb_convert_encoding($v, 'UTF-8', 'HTML-ENTITIES')));
        }
        $dbh->commit();

    } catch (Exception $e) {
        $dbh->rollBack();
        echo "Failed: " . $e->getMessage();
    }

B) 數據庫亂碼

因為院系信息返回的格式形如”&#xxxxx;&#xxxxx“，進行了十進制編碼，需要進行轉換。

mb_convert_encoding($v, 'UTF-8', 'HTML-ENTITIES')

在插入數據庫的時候，發現 department.name字段 全部是亂碼，而數據表的format中已將name字段設置為 UTF-8 字符集。經驗分析，是在寫入數據庫時的編碼出了問題，因此，在每次寫數據庫前加一條語句：

$dbh->exec('set names utf8;');

這樣就沒有亂碼了。

獲取院系信息的完整代碼如下（點擊展開）：

<?php
define('DATABASE', 'test');
define('TABNAME', 'department');
define('MYSQL_HOST', 'localhost');
define('MYSQL_USER', 'root');
define('MYSQL_PASS', 'root');

function x_readfile($filename)
{
    $handle = fopen($filename, 'r');
    $contents = stream_get_contents($handle);
    return $contents;
}

function create_insert_sql($sid, $did, $name)
{
    $sql =  'insert into ' . TABNAME . '(sid, did, name) values (' . $sid . ',' . $did . ',"' . $name . '");';
    //echo $sql . '<br/>';
    return $sql;
}
// 獲取所有學校id
$link = mysql_connect(MYSQL_HOST, MYSQL_USER, MYSQL_PASS);
if (!$link) {
    die('Could not connect: ' . mysql_error());
}
$db_selected = mysql_select_db(DATABASE, $link);
if (!$db_selected) {
    die ('Can\'t use : ' . mysql_error());
}
mysql_query("set names utf8;"); 
$sql_statement = 'select sid from school where cid != 0';
$result = mysql_query($sql_statement, $link);
$sids = array();
while($row = mysql_fetch_array($result)){
    $sids[] = $row['sid'];
}
// 初始化 PDO 存儲過程
try {
    $dsn = 'mysql:dbname=' . DATABASE . ';host=127.0.0.1';
    $dbh = new PDO($dsn, MYSQL_USER, MYSQL_PASS,
            array(PDO::ATTR_PERSISTENT => true));
} catch (Exception $e) {
    die("Unable to connect: " . $e->getMessage());
}
// 根據學校 id 去發起請求，一共3163個學校，可見請求之多
$baseurl = 'http://www.renren.com/GetDep.do?id=';
for($i = 0; $i < count($sids); $i++){
    $content = x_readfile($baseurl . $sids[$i]);
    $pat = '#<option[^>].*?>(.*?)</option>#i';
    $matches = array();
    preg_match_all($pat, $content, $matches);
    // 拋棄第一條結果：<option value=''>院系</option>
    array_shift($matches[1]);
    try {  
        $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

        $dbh->beginTransaction();
        $dbh->exec('set names utf8;');
        foreach($matches[1] as $k => $v){
            $dbh->exec(create_insert_sql($sids[$i], $k + 1, mb_convert_encoding($v, 'UTF-8', 'HTML-ENTITIES')));
        }
        $dbh->commit();

    } catch (Exception $e) {
        $dbh->rollBack();
        echo "Failed: " . $e->getMessage();
    }
}
?>

 

最后附上兩張最終SQL文件結果圖：

 

 

一個直接使用這些數據的例子：

《制作一個選擇中國大學的彈框 (數據、步驟、代碼)》

http://www.cnblogs.com/technology/archive/2012/07/30/2607560.html