曾經被問傻的一道面試題分享給你： 給你1個文件bigdata，大小4663M，5億個數，文件中的數據隨機，如下一行一個整數： 現在要對這個文件進行排序，怎么搞？ 內部排序 先嘗試內排，選2種排序方式： 3路快排： 歸並排序： 數據太多，遞歸太深 ->棧溢出？加大 ...

Hello，大家好，我是樓下小黑哥~ 如果給你一個包含一億行數據的超大文件，讓你在一周之內將數據轉化導入生產數據庫，你會如何操作？ 上面的問題其實是小黑哥前段時間接到一個真實的業務需求，將一個老系統歷史數據通過線下文件的方式遷移到新的生產系統。 由於老板們已經敲定了新系統上線時間，所以只留給 ...

這幾天小秋去面試了，不過最近小秋學習了不少和位算法相關文章，例如 【面試現場】如何判斷一個數是否在40億個整數中？ 【算法技巧】位運算裝逼指南 對於算法題還是有點信心的，，，，於是，發現了如下對話。 20億級別 面試官：如果我給你 2GB 的內存，並且給你 20 億個 int 型整數 ...

原文地址：https://www.yanbinghu.com/2018/12/22/40915.html 前言 給定一個最多包含40億個隨機排列的32位的順序整數的順序文件，找出一個不在文件中的32位整數。（在文件中至少確實一個這樣的數-為什么？）。在具有足夠內存的情況下，如何解決該問題 ...

...

1 背景 用戶本地有一份txt或者csv文件，無論是從業務數據庫導出、還是其他途徑獲取，當需要使用螞蟻的大數據分析工具進行數據加工、挖掘和共創應用的時候，首先要將本地文件上傳至ODPS，普通的小文件通過瀏覽器上傳至服務器，做一層中轉便可以實現，但當這份文件非常大到了10GB級別，我們就需要思考 ...

我想用python腳本下載很多文件，但是經常就有那么幾個出錯，寫了個error handling，跳了過去，但是把出錯的鏈接保存了一下。 轉過天來，研究了一下出的什么錯。 一個報錯如下: PS C:\temp> python ...

今天在博客上看到別人寫的一段PHP讀取大文件的方法： 加上下面 獲取文件行數的方法，可以配合使用 ...