前言 當我在測試SparkStreaming的狀態操作mapWithState算子時，當我們設置timeout(3s)的時候，3s過后數據還是不會過期，不對此key進行操作，等到30s左右才會清除過期的數據。 百度了很久，關於timeout的資料很少，更沒有解決這個問題的文章，所以說，百度 ...

1 微服務面臨的問題？ 微服務間如何通信 　　 　從通訊協議角度考慮 REST API RPC（dubbo, thrift, grpc）: 微服務之間通訊很常用，是最常用的微服務之間通信協議。 　　　 I/O: IO/ NIO（非阻塞IO）/長連接/短連接 ...

如有疑問請聯系微信：onesoft007　 　 在計算機中，浮點數往往很難精確表示，那么浮點數運算結果也往往難以精確表示。MySQL同樣也存在這個問題，並表現在如下幾個方面。 問題 1、相同的輸入，可能造成不一樣的輸出（受CPU、編譯器等影響）　 　　a）下面是MySQL官方網站給出 ...

一、小文件概述　　 　　小文件通常指文件大小要比HDFS塊大小還要小很多的文件（在hadoop1.x版本的時候可以通過dfs.blocksize來設置，默認塊大小為64M；在hadoop2.x版本的時候，則需要通過dfs.block.size設置，且默認大小為128M） 　　如果存在大量小文件 ...

　　Redis的Pub/Sub機制使用非常簡單的方式實現了觀察者模式，但是在使用過程中我們發現，它僅僅是實現了發布訂閱機制，但是很多的場景沒有考慮到。例如一下的幾種場景： 　　1.數據可靠性無法保證 　　一個redis_cli發送消息的時候，消息是無狀態的，也就是說負責發送消息 ...

本人在閑暇之余幫朋友做了個軟件，是關於考古方面的。先上圖， 界面效果一般般，能過的去就行了，今天我主要說的是RDLC開發過程中容易出錯的地方，我這里封裝了一個RDLC調用方法： ...

當使用sparkstreaming處理流式數據的時候，它的數據源搭檔大部分都是Kafka，尤其是在互聯網公司頗為常見。 當他們集成的時候我們需要重點考慮就是如果程序發生故障，或者升級重啟，或者集群宕機，它究竟能否做到數據不丟不重呢？ 也就是通常我們所說的高可靠和穩定性，通常框架里面都帶有不同層次 ...

redis緩存1.緩存穿透 1>.什么是緩存穿透？ 業務系統需要查訓的數據根本不存在，當業務系統查詢時， 首先會在緩存中查訓，由於緩存中不存在，然后在往數據 庫中查，由於該數據在數據庫中也不存在，數據庫返回為空。 綜上所述：業務系統訪問數據庫中不存在的數據陳偉緩存穿透。 2> ...