sparksql讀取hive數據報錯：java.lang.RuntimeException: serious problem

問題： 原因： 解決辦法： 設置set spark.sql.hive.convertMetastoreOrc=true 單純的設置以上參數還是會報錯： 需要再設置set spark.sql.orc.impl=native 參考https://issues.apache.org ...

記一次智能搜題軟件的開發

很早之前曾經做過一個圖片識別的項目，當時有一項功能是整題識別，即傳入數學題的截圖，可通過ocr技術識別出圖片內容，但當時只限於識別文字，並未作更深一步的處理，現在想來實用性並不強，畢竟大家更需要的是解 ...

使用hive的orcfiledump命令查看orc文件

解析 orc 格式 為 json 格式： ./hive --orcfiledump -d hdfs的orc文件路徑 把解析的 json 寫入 到文件 ./hive --orcfiledump -d hdfs的orc文件路徑 > myfile.txt 樣例 ...