知乎視頻下載(爬蟲)

目前主要功能是完成知乎視頻的下載.

 

在抓包和網頁分析發現有blob:https://...格式的視頻鏈接, 但是無法訪問, 不過知乎好像是m3u8格式的, 具體的我也不太清楚, 但這並不妨礙我們的下載工作.

關鍵在於 https://lens.zhihu.com/api/videos/1024143280014860288 這個api返回的json數據, 包含了不同分辨率的視頻url,但其中url打開后是這樣的文本文件

其中ts就是被分割后的相對url, 拼接后就可以下載播放了, 不過這里還要做的就是將所有被分割的視頻合並成一個完整的視頻文件,具體的可參考下面代碼.

 

----------------------分割線----->

 

有相關基礎的同學都會知道一個知乎視頻是被分割成了許多片段.這樣的話的確帶來了諸多好處,但同時給它的下載帶來了麻煩(手動滑稽). 這里的話項目給出了完整的下載流程,具體我也不多講了.

 

項目內視頻的初步鏈接可通過如圖方式獲取:

 

 

F12 元素選擇器選中視頻框后會找到<iframe>標簽,其中的src就是對應的視頻初步鏈接.

 

 

下面貼上代碼:

 

HttpUtil.java

import org.json.JSONObject;

import java.io.*;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 該類完成視頻下載的一些基本操作
 * @author As_
 * @date 2018-09-17 20:29:12
 * @github https://github.com/apknet
 */
public class HttpUtil {

    /**
     * 由api提取出最高清晰度的url
     * @param url
     * @return play_url
     */
    public static String getPlayUrl(String url) throws IOException {

        String json = getContent(url);

        JSONObject jsonObject = new JSONObject(json).getJSONObject("playlist");

        if(jsonObject.has("hd")){
            return jsonObject.getJSONObject("hd").getString("play_url");
        }else if(jsonObject.has("sd")){
            return jsonObject.getJSONObject("sd").getString("play_url");
        }else if(jsonObject.has("ld")){
            return jsonObject.getJSONObject("ld").getString("play_url");
        }
        return null;
    }

    /**
     * 解析出播放清單文件內分散的多個js格式視頻url
     * @param url
     * @return
     */
    public static List<String> getSrcList(String url) throws IOException {
        List<String> list = new ArrayList<>();
        String content = getContent(url);
        // 提取出相對路徑
        String relUrl = url.replaceAll("/\\w+-\\w+-\\w+-\\w+-\\w+\\.m3u8.*", "");

        // 正則提取出的為相對路徑, 需與前面的relUrl完成拼接
        Matcher matcher = Pattern.compile("EXTINF:\\d+\\.\\d+,(.+?)#").matcher(content);

        while (matcher.find()){
            System.out.println(matcher.group(1));
            list.add(relUrl + "/" + matcher.group(1));
        }

        return list;
    }

    /**
     * 讀取輸入流並寫到輸出流中,該函數用於合並分散的視頻文件
     * @param in
     * @param out
     * @throws IOException
     */
    public static void combineStream(InputStream in, OutputStream out) throws IOException {
        byte[] bytes = new byte[1024];
        int n;
        while ((n = in.read(bytes)) != -1){
            out.write(bytes, 0, n);
        }
        in.close();
    }

    public static InputStream getInputStream(String url) throws IOException {
        URLConnection connection = new URL(url).openConnection();
        connection.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36");
        return connection.getInputStream();
    }

    private static String getContent(String url) throws IOException {
        URLConnection connection = new URL(url).openConnection();
        connection.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36");

        InputStream inputStream = connection.getInputStream();
        BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));

        StringBuilder stringBuilder = new StringBuilder();
        String line;
        while((line = reader.readLine()) != null){
            stringBuilder.append(line);
        }
        reader.close();
        inputStream.close();
        return stringBuilder.toString();
    }
}

 

Main.java

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.List;

public class Main {
    public static void main(String[] args) {

        // 將下面的數字替換成對應的知乎視頻的id即可
        String url_1 = "https://lens.zhihu.com/api/videos/1024143280014860288";

        try {
            FileOutputStream outputStream = new FileOutputStream(new File("/home/as_/IdeaProjects/VideoHelper/video_1.mp4"));

            List<String> urls = HttpUtil.getSrcList(HttpUtil.getPlayUrl(url_1));

            for(String url: urls){
                HttpUtil.combineStream(HttpUtil.getInputStream(url), outputStream);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }
    }

}

 

最后附上 

 https://github.com/apknet