互聯網常見架構
分成兩類:
C/S:
C: client (客戶端)
S: server (服務端)
用處:QQ wechat,手機端的APP等
B/S:
B: browser (瀏覽器)
S: server (服務器)
用處:把瀏覽器當做客戶端的場景,專業術語叫做客戶端瀏覽器,如網頁QQ,網頁微信等
PS:BS架構是CS架構的一個特例
互聯網協議的標准
連接兩台計算機之間的internet實際上就是一系列統一的標准,這些標准稱之為互聯網協議,互聯網的本質就是一系列的協議,總稱為‘互聯網協議’(Internet Protocol Suite)
互聯網協議的功能
定義計算機如何接入internet,以及接入internet的計算機通信的標准
osi七層協議(重要必須要知道而且記住)
什么是互聯網通信:類似郵寄快遞
本質:從源到目的地發送信息,本質上就是對我們的消息,進行封包和解包的一個過程
封包:消息出去的時候,也是進行打標簽
解包:獲得消息的時候, 就是拆開標簽
什么是互聯網通信協議(面試可能會問的)
1977年, 規定 OSI七層模型
按照五層分類(功能和工作的協議以及端口)
功能 工作的協議和端口
應用層 提供給用戶發送消息 Http(80) https(443) smtp(25) DNS(53) telnet(23) ftp(21)
傳輸層 提供鏈接的機制 (選的啥快遞) TCP(可靠傳輸)/UDP(不可靠)
網絡層 提供IP報頭 IP協議 ICMP協議(ping)
數據鏈路層 提供一個固定的地址 (MAC地址) (交換機 路由器) arp協議(將目的IP地址轉換成MAC地址) rarp協議
物理層 傳輸消息(光纜 光纖 網線)
網絡協議解析
什么是OSI七層模型
OSI網絡七層模型(七層分別是什么層,以及用途,協議,端口面試會問到)
互聯網協議按照功能不同分為osi七層或tcp/ip五層或tcp/ip四層
每層運行常見物理設備
tcp/ip五層模型講解
我們將應用層,表示層,會話層並作應用層,從tcp/ip五層協議的角度來闡述每層的由來與功能,搞清楚了每層的主要協議就理解了整個互聯網通信的原理。
首先,用戶感知到的只是最上面一層應用層,自上而下每層都依賴於下一層,所以我們從最下一層開始切入,比較好理解,每層都運行特定的協議,越往上越靠近用戶,越往下越靠近硬件
什么是物理層
物理層由來:上面提到,孤立的計算機之間要想一起玩,就必須接入internet,言外之意就是計算機之間必須完成組網
物理層功能:主要是基於電器特性發送高低電壓(電信號),高電壓對應數字1,低電壓對應數字0
什么是數據鏈路層
數據鏈路層由來:單純的電信號0和1沒有任何意義,必須規定電信號多少位一組,每組什么意思
數據鏈路層的功能:定義了電信號的分組方式
什么是以太網協議
早期的時候各個公司都有自己的分組方式,后來形成了統一的標准,即以太網協議ethernet
ethernet規定
- 一組電信號構成一個數據包,叫做‘幀’
- 每一數據幀分成:報頭head和數據data兩部分
head包含:(固定18個字節)
- 發送者/源地址,6個字節
- 接收者/目標地址,6個字節
- 數據類型,6個字節
data包含:(最短46字節,最長1500字節)
- 數據包的具體內容
head長度+data長度=最短64字節,最長1518字節,超過最大限制就分片發送
什么是mac地址
head中包含的源和目標地址由來:ethernet規定接入internet的設備都必須具備網卡,發送端和接收端的地址便是指網卡的地址,即mac地址
mac地址:每塊網卡出廠時都被燒制上一個世界唯一的mac地址,長度為48位2進制,通常由12位16進制數表示(前六位是廠商編號,后六位是流水線號)
什么是廣播
有了mac地址,同一網絡內的兩台主機就可以通信了(一台主機通過arp協議獲取另外一台主機的mac地址)
ethernet采用最原始的方式,廣播的方式進行通信,即計算機通信基本靠吼
什么是網絡層
網絡層由來
有了ethernet、mac地址、廣播的發送方式,世界上的計算機就可以彼此通信了,問題是世界范圍的互聯網是由一個個彼此隔離的小的局域網組成的,那么如果所有的通信都采用以太網的廣播方式,那么一台機器發送的包全世界都會收到,這就不僅僅是效率低的問題了,這會是一種災難,因為要有一台足夠大的交換機,可以讓全世界的電腦都插在這台交換機上,這是一個不可能實現的事情
必須找出一種方法來區分哪些計算機屬於同一廣播域,哪些不是,如果是就采用廣播的方式發送,如果不是,就采用路由的方式(向不同廣播域/子網分發數據包),mac地址是無法區分的,它只跟廠商有關
網絡層功能
引入一套新的地址用來區分不同的廣播域/子網,這套地址即網絡地址
IP協議:
- 規定網絡地址的協議叫ip協議,它定義的地址稱之為ip地址,廣泛采用的v4版本即ipv4,它規定網絡地址由32位2進制表示
- 范圍0.0.0.0-255.255.255.255
- 一個ip地址通常寫成四段十進制數,例:172.16.10.1
ip地址分成兩部分
- 網絡部分:標識子網
- 主機部分:標識主機
如今的網絡使用32位地址,以點分十進制表示,如192.168.0.1,地址格式為:ip地址=網絡地址+主機地址或 ip地址=網絡地址+子網地址+主機地址
注意:單純的ip地址段只是標識了ip地址的種類,從網絡部分或主機部分都無法辨識一個ip所處的子網
例:計算C類ip地址 192.168.10.1 / B類ip地址 172.16.10.1 /C類ip地址 10.10.10.1的主機位和網絡位
C類ip地址:11000000 10101000 10100000 00000001 紅色的是主機位,綠色的是網絡位,即主機位是192.168.10,網絡位是1
B類ip地址:10101100 00001000 00001010 00000001 紅色的是主機位,綠色的是網絡位,即主機位是172.16,網絡位是10.1
A類ip地址:00001010 00001010 00001010 00000001 紅色的是主機位,綠色的是網絡位,即主機位是10,網絡位是10.10.10
什么是子網掩碼
所謂”子網掩碼”,就是表示子網絡特征的一個參數。它在形式上等同於IP地址,也是一個32位二進制數字,它的網絡部分全部為1,主機部分全部為0
例:172.16.10.1與172.16.10.2並不能確定二者處於同一子網
比如,IP地址172.16.10.1,如果已知網絡部分是前24位,主機部分是后8位,那么子網絡掩碼就是11111111.11111111.11111111.00000000,寫成十進制就是255.255.255.0
知道”子網掩碼”,我們就能判斷,任意兩個IP地址是否處在同一個子網絡。方法是將兩個IP地址與子網掩碼分別進行AND運算(兩個數位都為1,運算結果為1,否則為0),然后比較結果是否相同,如果是的話,就表明它們在同一個子網絡中,否則就不是
比如,已知IP地址172.16.10.1和172.16.10.2的子網掩碼都是255.255.255.0,請問它們是否在同一個子網絡?兩者與子網掩碼分別進行AND運算,
10101100.00010000.00001010.00000001
11111111.11111111.11111111.00000000
-----------------------------------------------------------------------------
AND運算得網絡地址結果:10101100.00010000.00001010.00000000->172.16.10.0(AND運算方法是1和1為1,0和1為0,1和0為0)
172.16.10.2:10101100.00010000.00001010.00000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網絡地址結果:10101100.00010000.00001010.00000000->172.16.10.0
結果都是172.16.10.0,因此它們在同一個子網絡。
總結一下,IP協議的作用主要有兩個,一個是為每一台計算機分配IP地址,另一個是確定哪些地址在同一個子網絡。
ip數據包
ip數據包也分為head和data部分,無須為ip包定義單獨的欄位,直接放入以太網包的data部分
head:長度為20到60字節
data:最長為65,515字節。
而以太網數據包的”數據”部分,最長只有1500字節。因此,如果IP數據包超過了1500字節,它就需要分割成幾個以太網數據包,分開發送了
ARP協議
arp協議由來:計算機通信基本靠吼,即廣播的方式,所有上層的包到最后都要封裝上以太網頭,然后通過以太網協議發送,在談及以太網協議時候,我門了解到
通信是基於mac的廣播方式實現,計算機在發包時,獲取自身的mac是容易的,如何獲取目標主機的mac,就需要通過arp協議
arp協議功能:廣播的方式發送數據包,獲取目標主機的mac地址
協議工作方式:每台主機ip都是已知的
例如:主機172.16.10.10/24訪問172.16.10.11/24
一:首先通過ip地址和子網掩碼區分出自己所處的子網
二:分析172.16.10.10/24與172.16.10.11/24處於同一網絡(如果不是同一網絡,那么下表中目標ip為172.16.10.1,通過arp獲取的是網關的mac)
三:這個包會以廣播的方式在發送端所處的自網內傳輸,所有主機接收后拆開包,發現目標ip為自己的,就響應,返回自己的mac
傳輸層
傳輸層的由來:網絡層的ip幫我們區分子網,以太網層的mac幫我們找到主機,然后大家使用的都是應用程序,你的電腦上可能同時開啟qq,暴風影音,等多個應用程序,那么我們通過ip和mac找到了一台特定的主機,如何標識這台主機上的應用程序,答案就是端口,端口即應用程序與網卡關聯的編號。
傳輸層功能:建立端口到端口的通信
補充:端口范圍0-65535,0-1023為系統占用端口
tcp協議:
可靠傳輸,TCP數據包沒有長度限制,理論上可以無限長,但是為了保證網絡的效率,通常TCP數據包的長度不會超過IP數據包的長度,以確保單個TCP數據包不必再分割
tcp三次握手和四次揮手(這個圖面試時候也會考,需要能夠畫出來)
TCP協議原理解析(一般用在瀏覽器上網HTTP,SMTP)
位碼即tcp標志位 有7種標示: (1)SYN(synchronous建立聯機) (2)ACK(acknowledgement 確認) (3) PSH(push傳送) (4)FIN(finish結束) (5)RST(reset重置) (6)URG(urgent緊急) (7)Sequence number(順序號碼)
什么是三次握手
1、客戶端(client)向服務端(server)發送一個請求SYN=1(一個序列號),seq=x(隨機產生的number),服務端由SYN=1知道客戶端要求建立聯機
2、服務端(server)收到這個請求就知道客戶端(client)需要和我進行鏈接,而且是TCP協議,這時候服務端(server)就要做一個應答,服務端返回一個ACK=x+1(x就是客戶端發送過來的seq的值)和SYN=1和seq=y(ack就是確認的意思,英文簡寫)就代表服務端
收到了客戶端的請求
3、客戶端收到服務端發送來的信息后,然后檢查服務端發送來的信息內的ACK=x+1的x這個值是不是第一次發送的seq的值x,若正確,客戶端會發送一個ACK=Y+1給服務端(Y就是服務端發送給客戶端的seq),就表示收到了已經收到,進過這三次握手鏈接,這時候鏈
接已經建立成功,這時候可以發送和接收數據
什么是四次揮手
1、客戶端需要斷開的時候,首先會向服務端發送一個FIN=1(FIN碼)和一個seq=x(序列號)表示需要斷開鏈接
2、服務端收到客戶端發送過來的FIN碼和seq序列號會返回一個ACK=X+1給客戶端(這個X就是第一次客戶端發送的seq的值)就代表服務端告訴客戶端已經知道需要斷開
3、如果服務端數據還沒發送完,這時候會等待數據傳輸完后,會主動向客戶端發送一個FIN=1(只要斷就是發FIN碼)和seq=Y就是告訴客戶端我的數據已經發送完,你可以主動的和我斷開鏈接
4、客戶端收到服務端發送來的FIN碼和seq序列號,此時會向服務端發送一個ack=Y+1(Y就是服務端發送過來的seq的值),就代表已經收到了客戶端第二次發送的消息,此時可以斷開
PS:TCP協議為什么成為穩定傳輸,因為Tcp協議發送數據至服務端后,服務端會返回一個ACK信息告知客戶端數據已收到,然后客戶端才會將緩存內的數據清空,否則客戶端會每間隔一段時間向服務端發送數據包,直到設定的次數后終止
PS:TCP缺點就是開銷大,因為要建立連接,發送數據后服務端還要返回一個ACK信息才算成功
udp協議(一般用在聊天軟件QQ,微信等)
不可靠傳輸,”報頭”部分一共只有8個字節,總長度不超過65,535字節,正好放進一個IP數據包
通常UDP協議用在比如QQ通信,NTP服務,DNS查詢,一般查詢類的功能就用UDP協議
PS:UDP協議因為不管服務端有沒有收到客戶端發送的信息,都只發送一次,有效傳輸的數據量512個字節,如果超過極其容易數據丟失
PS:UDP協議好處就是不用建立連接,而且只發送一次,開銷比較小,傳輸效率UDP更高
半連接池
TCP協議稱為好人協議,因為無論誰向服務端發送數據都會返回一個ACK信息,客戶端不是一個一個單獨連服務端,因為客戶端是無數個,所以大量客戶端同時訪問一個服務端,同時發送syn數據請求,那么服務端就會同時接收大量的數據,一旦數據量超過內存容量,那么服務端就會出現不穩定或者死機的現象,這時候就有一個半連接池的概念解決方案,其實就是一個隊列,可以設置半連接池內存放syn的數量,比如半連接池設置為5,那么同時會有5個syn請求進入池中,服務端就會從池中依次拿取請求返回ack信息,這樣無論多少syn請求,池中只會有5個請求,可以防止服務端奔潰或者被數據請求攻擊
應用層
應用層由來:
用戶使用的都是應用程序,均工作於應用層,互聯網是開發的,大家都可以開發自己的應用程序,數據多種多樣,必須規定好數據的組織形式
應用層功能:
規定應用程序的數據格式。
例:TCP協議可以為各種各樣的程序傳遞數據,比如Email、WWW、FTP等等。那么,必須有不同協議規定電子郵件、網頁、FTP數據的格式,這些應用程序協議就構成了”應用層”
網絡通信實現
想實現網絡通信,每台主機需具備四要素
- 本機的IP地址
- 子網掩碼
- 網關的IP地址
- DNS的IP地址
獲取這四要素分兩種方式
1.靜態獲取
即手動配置
2.動態獲取
通過dhcp獲取
(1)最前面的”以太網標頭”,設置發出方(本機)的MAC地址和接收方(DHCP服務器)的MAC地址。前者就是本機網卡的MAC地址,后者這時不知道,就填入一個廣播地址:FF-FF-FF-FF-FF-FF
(2)后面的”IP標頭”,設置發出方的IP地址和接收方的IP地址。這時,對於這兩者,本機都不知道。於是,發出方的IP地址就設為0.0.0.0,接收方的IP地址設為255.255.255.255
(3)最后的”UDP標頭”,設置發出方的端口和接收方的端口。這一部分是DHCP協議規定好的,發出方是68端口,接收方是67端口
這個數據包構造完成后,就可以發出了。以太網是廣播發送,同一個子網絡的每台計算機都收到了這個包。因為接收方的MAC地址是FF-FF-FF-FF-FF-FF,看不出是發給誰的,所以每台收到這個包的計算機,還必須分析這個包的IP地址,才能確定是不是發給自己的。當看到發出方IP地址是0.0.0.0,接收方是255.255.255.255,於是DHCP服務器知道”這個包是發給我的”,而其他計算機就可以丟棄這個包
接下來,DHCP服務器讀出這個包的數據內容,分配好IP地址,發送回去一個”DHCP響應”數據包。這個響應包的結構也是類似的,以太網標頭的MAC地址是雙方的網卡地址,IP標頭的IP地址是DHCP服務器的IP地址(發出方)和255.255.255.255(接收方),UDP標頭的端口是67(發出方)和68(接收方),分配給請求端的IP地址和本網絡的具體參數則包含在Data部分。
新加入的計算機收到這個響應包,於是就知道了自己的IP地址、子網掩碼、網關地址、DNS服務器等等參數
網絡通信流程
1、本機獲取
- 本機的IP地址:192.168.1.100
- 子網掩碼:255.255.255.0
- 網關的IP地址:192.168.1.1
- DNS的IP地址:8.8.8.8
2、打開瀏覽器,想要訪問Google,在地址欄輸入了網址:www.google.com。
3、dns協議(基於udp協議)
PS:由圖可知,網絡客戶端(你的電腦)向本地的DNS服務器發出請求,獲取163的ip地址,如果本地DNS緩存內沒有,則本地DNS服務器向DNS根服務器發出請求獲取163的地址,如果DNS根服務器的緩存里沒有,則返回給本地DNS服務器去向頂級域名服務器獲取,這時候本地DNS服務器向頂級域名服務器發出請求獲取163的地址,這時候頂級域名服務器會將163的主區域的地址給到本地DNS服務器,然后本地DNS服務器再向163的主區域服務器發送請求獲取163的地址,獲取到后返回給網絡客戶端(你的電腦)然后開始訪問163
擴展知識
13台根dns分別位於:
A.root-servers.net198.41.0.4美國
B.root-servers.net192.228.79.201美國(另支持IPv6)
C.root-servers.net192.33.4.12法國
D.root-servers.net128.8.10.90美國
E.root-servers.net192.203.230.10美國
F.root-servers.net192.5.5.241美國(另支持IPv6)
G.root-servers.net192.112.36.4美國
H.root-servers.net128.63.2.53美國(另支持IPv6)
I.root-servers.net192.36.148.17瑞典
J.root-servers.net192.58.128.30美國
K.root-servers.net193.0.14.129英國(另支持IPv6)
L.root-servers.net198.32.64.12美國
M.root-servers.net202.12.27.33日本(另支持IPv6)
域名定義:http://jingyan.baidu.com/article/1974b289a649daf4b1f774cb.html
頂級域名:以.com,.net,.org,.cn等等屬於國際頂級域名,根據目前的國際互聯網域名體系,國際頂級域名分為兩類:類別頂級域名(gTLD)和地理頂級域名(ccTLD)兩種。類別頂級域名是以"COM"、"NET"、"ORG"、"BIZ"、"INFO"等結尾的域名,均由國外公司負責管理。地
理頂級域名是以國家或地區代碼為結尾的域名,如"CN"代表中國,"UK"代表英國。地理頂級域名一般由各個國家或地區負責管理
二級域名:二級域名是以頂級域名為基礎的地理域名,比喻中國的二級域有,.com.cn, .net.cn, .org.cn, .gd.cn等.子域名是其父域名的子域名,比喻父域名是abc.com,子域名就是www.abc.com或者*.abc.com
一般來說,二級域名是域名的一條記錄,比如alidiedie.com是一個域名,www.alidiedie.com是其中比較常用的記錄,一般默認是用這個,但是類似*.alidiedie.com的域名全部稱作是alidiedie.com的二級
4、HTTP部分的內容,類似於下面這樣:
GET / HTTP/1.1
Host: www.google.com
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1) ……
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
Cookie: … …
我們假定這個部分的長度為4960字節,它會被嵌在TCP數據包之中。
5、TCP協議
TCP數據包需要設置端口,接收方(Google)的HTTP端口默認是80,發送方(本機)的端口是一個隨機生成的1024-65535之間的整數,假定為51775
TCP數據包的標頭長度為20字節,加上嵌入HTTP的數據包,總長度變為4980字節。
6、IP協議
然后,TCP數據包再嵌入IP數據包。IP數據包需要設置雙方的IP地址,這是已知的,發送方是192.168.1.100(本機),接收方是172.194.72.105(Google)
IP數據包的標頭長度為20字節,加上嵌入的TCP數據包,總長度變為5000字節。
7、以太網協議
最后,IP數據包嵌入以太網數據包。以太網數據包需要設置雙方的MAC地址,發送方為本機的網卡MAC地址,接收方為網關192.168.1.1的MAC地址(通過ARP協議得到)。
以太網數據包的數據部分,最大長度為1500字節,而現在的IP數據包長度為5000字節。因此,IP數據包必須分割成四個包。因為每個包都有自己的IP標頭(20字節),所以四個包的IP數據包的長度分別為1500、1500、1500、560
8、服務器端響應
經過多個網關的轉發,Google的服務器172.194.72.105,收到了這四個以太網數據包,根據IP標頭的序號,Google將四個包拼起來,取出完整的TCP數據包,然后讀出里面的”HTTP請求”,接着做出”HTTP響應”,再用TCP協議發回來
本機收到HTTP響應以后,就可以將網頁顯示出來,完成一次網絡通信