Keras Sequential順序模型

keras是基於tensorflow封裝的的高級API，Keras的優點是可以快速的開發實驗，它能夠以TensorFlow, CNTK, 或者 Theano 作為后端運行。

模型構建

最簡單的模型是 Sequential 順序模型，它由多個網絡層線性堆疊。對於更復雜的結構，你應該使用 Keras 函數式 API，它允許構建任意的神經網絡圖。

用Keras定義網絡模型有兩種方式，

• Sequential 順序模型
• Keras 函數式 API模型

1、Sequential 順序模型

from keras.models import Sequential

model = Sequential()

我們可以通過將網絡層實例的列表傳遞給 Sequential 的構造器，來創建一個 Sequential模型，：

from keras.models import Sequential
from keras.layers import Dense, Activation

model = Sequential([
    Dense(32, input_shape=(784,)),
    Activation('relu'),
    Dense(10),
    Activation('softmax'),
])

也可以通過 .add()的方法將各層添加到網絡中

from keras.layers import Dense
from keras.model import Sequential

model = Sequential()
model.add(Dense(units=64, activation='relu', input_dim=100))
model.add(Dense(units=10, activation='softmax'))

模型需要知道它所期望的出入尺寸，所以模型中的第一層需要接收關於出入尺寸的信息

• 傳遞一個 input_shape 參數給第一層。它是一個表示尺寸的元組 (一個整數或 None 的元組，其中 None 表示可能為任何正整數)。在 input_shape 中不包含數據的 batch 大小。
• 某些 2D 層，例如 Dense，支持通過參數 input_dim 指定輸入尺寸，某些 3D 時序層支持 input_dim 和 input_length 參數。
• 如果你需要為你的輸入指定一個固定的 batch 大小（這對 stateful RNNs 很有用），你可以傳遞一個 batch_size 參數給一個層。如果你同時將 batch_size=32 和 input_shape=(6, 8) 傳遞給一個層，那么每一批輸入的尺寸就為 (32，6，8)。

model.add(Dense(32, input_shape=(784,)))
# 這兩段代碼是等價的 
model.add(Dense(32, input_dim=784))

 Dense的參數

activation: 激活函數

kernel_initializer和bias_initializer: 權重和偏置項的初始化方案

kernel_regularizer和bias_regularizer: 權重和偏置項的正則方案，L1或L2

layers.Dense(64, activation='sigmoid')
# 或者
layers.Dense(64, activation=tf.sigmoid)

# 一個線性層，系數0.01的l1正則化權重
layers.Dense(64, kernel_regularizer=tf.keras.regularizers.l1(0.01))
# 將因子0.01的L2正則化的線性層應用於偏置項
layers.Dense(64, bias_regularizer=tf.keras.regularizers.l2(0.01))
# 初始化為隨機正交矩陣的線性層
layers.Dense(64, kernel_initializer='orthogonal')    
# 一個線性層，偏置項初始化為2.0s
layers.Dense(64, bias_initializer=tf.keras.initializers.constant(2.0))    

Model類模型的方法

Model主要有以下方法 compile、fit、evaluate、predict...

在函數式API中，給定一些輸入張量和輸出張量，可以實例化一個Model:

from keras.models import Model
from keras.layers import Input, Dense

a = Input(shape=(32,))
b = Dense(32)(a)
model = Model(inputs=a, outputs=b)

這個model模型包含從a到b計算的所有網絡層

在多輸入或多輸出模型的情況下，我們可以使用以下列表

model = Model(inputs=[a1, a2], outputs=[b1, b3, b3])

 

 

model.summary()     　　　　# 在模型編譯之后，打印網絡結構

 

print(model.output_shape)　　  # 打印模型輸出

模型編譯

我們需要配置模型的學習過程，這是通過 compile() 方法

參數

• 優化器 optimizer。它可以是現有優化器的字符串標識符。詳見：optimizers。
• 損失函數 loss，模型試圖最小化的目標函數。它可以是現有損失函數的字符串標識符，也可以是一個目標函數。常見的選擇包括均方誤差(mse)、categorical_crossentropy 和 binary_crossentropy，詳見：losses。
• 評估標准 metrics。對於任何分類問題，你都希望將其設置為 metrics = ['accuracy']。評估標准可以是現有的標准的字符串標識符，也可以是自定義的評估標准函數。

# 多分類問題
model.compile(optimizer='rmsprop',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 二分類問題
model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# 均方誤差回歸問題
model.compile(optimizer='rmsprop',
              loss='mse')

# 自定義評估標准函數
import keras.backend as K

def mean_pred(y_true, y_pred):
    return K.mean(y_pred)

model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy', mean_pred])

自定義評估標准方法，傳了兩個方法進去，那到底該用哪個呢？

模型訓練

訓練網絡模型時，我們通常會使用 fit() 函數，keras.Model.fit()包含三個重要的參數，文檔詳見此處。

• epochs：訓練的輪次，每一輪對整個輸入數據進行一次迭代
• batch_size：將模型數據分成n個較小的批次，注意：如果樣本總數不能被批次大小整除，則最后一個批次可能更小
• validation_data：驗證數據的准確率 輸入和標簽的元組

訓練模型：現在我們可以批量地在訓練數據上迭代了：

model.fit(x_train, y_train, epochs=5, batch_size=32)

或者我們可以手動的將批次的數據提供給模型：

model.train_on_batch(x_batch, y_batch)

對於具有 2 個類的單輸入模型（二進制分類）：

model = Sequential()
model.add(Dense(32, activation='relu', input_dim=100))
model.add(Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# 生成虛擬數據
import numpy as np
data = np.random.random((1000, 100))    # 0~1之間的隨機數
# 生成2個類別的（1000，1）的數組
labels = np.random.randint(2, size=(1000, 1))

# 訓練模型，以 32 個樣本為一個 batch 進行迭代
model.fit(data, labels, epochs=10, batch_size=32)

對於具有 10 個類的單輸入模型（多分類分類）：

model = Sequential()
model.add(Dense(32, activation='relu', input_dim=100))
model.add(Dense(10, activation='softmax'))
model.compile(optimizer='rmsprop',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 生成虛擬數據
import numpy as np
data = np.random.random((1000, 100))
labels = np.random.randint(10, size=(1000, 1))

# 將標簽轉換為分類的 one-hot 編碼
one_hot_labels = keras.utils.to_categorical(labels, num_classes=10)

# 訓練模型，以 32 個樣本為一個 batch 進行迭代
model.fit(data, one_hot_labels, epochs=10, batch_size=32)

模型評估

evaluate

model.evaluate(x=None, y=None, batch_size=None, verbose=1, sample_weight=None, steps=None)

loss_and_metrics = model.evaluate(x_test, y_test, batch_size=128)

在測試模式下返回模型的誤差值和評估標准值，計算是分批次進行的

參數：

X： 測試數據的Numpy數組

y: 目標（標簽）數據的Numpy數組或列表

batch_size: 整數或None，每次評估的樣本數，如果未指定，默認為32

vebose: 0或1，日志顯示模型，0=安靜模型，1=進度條

steps: 聲明評估結束之前的總步數（批次樣本）。默認值 None

返回：

測試數據的誤差值

predict

predict(x, batch_size=None, verbose=0, steps=None)

classes = model.predict(x_test, batch_size=128)
# [11.43181880315145, 0.18333333333333332]

為輸入樣本生成輸出預測，計算是分批進行的

參數：

X: 輸入數據的Numpy數組

batch_size: 整數，如果未指定，默認為32

verbose: 日志顯示模式，0或1

steps: 聲明預測結束之前的總步數，默認為 None

返回:

預測的Numpy數組

train_on_batch

train_on_batch(x, y, sample_weight=None, class_weight=None)

train_on_batch(x_train, y_train)

進行一批樣本的單次梯度更新，在一批樣本上訓練數據

參數：

X: 訓練數據的Numpy數組

Y: 目標（標簽）的Numpy數組

sample_weight: 可選數組，與x長度相同，包含應用到模型損失函數的每個樣本的權重

chass_weight: 可選字典，以在訓練時對模型的損失函數加權

返回：

訓練數據的誤差值

test_on_batch

test_on_batch(x_test, y_teat, sample_weight=None)

在一批樣本上測試模型

參數：

X: 測試數據的Numpy數組

y: 目標（標簽）數據的numpy數組

返回：

測試數據的誤差值

predict_on_batch

predict_on_batch(x)

返回一批樣本的模型預測值

參數：

X: 輸入數據的Numpy

返回:

預測值的Numpy數組

樣例

在 examples 目錄 中，你可以找到真實數據集的示例模型：

• CIFAR10 小圖片分類：具有實時數據增強的卷積神經網絡 (CNN)
• IMDB 電影評論情感分類：基於詞序列的 LSTM
• Reuters 新聞主題分類：多層感知器 (MLP)
• MNIST 手寫數字分類：MLP & CNN
• 基於 LSTM 的字符級文本生成

...以及更多。

基於多層感知器 (MLP) 的 softmax 多分類：

import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.optimizers import SGD

# 生成虛擬數據
import numpy as np
x_train = np.random.random((1000, 20))
y_train = keras.utils.to_categorical(np.random.randint(10, size=(1000, 1)), num_classes=10)
x_test = np.random.random((100, 20))
y_test = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)

model = Sequential()
# Dense(64) 是一個具有 64 個隱藏神經元的全連接層。
# 在第一層必須指定所期望的輸入數據尺寸：
# 在這里，是一個 20 維的向量。
model.add(Dense(64, activation='relu', input_dim=20))
model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(10, activation='softmax'))

sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy',
              optimizer=sgd,
              metrics=['accuracy'])

model.fit(x_train, y_train,
          epochs=20,
          batch_size=128)
score = model.evaluate(x_test, y_test, batch_size=128)

基於多層感知機的二分類：

import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Dropout

# 生成虛擬數據
x_train = np.random.random((1000, 20))
y_train = np.random.randint(2, size=(1000, 1))
x_test = np.random.random((100, 20))
y_test = np.random.randint(2, size=(100, 1))

model = Sequential()
model.add(Dense(64, input_dim=20, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

model.fit(x_train, y_train,
          epochs=20,
          batch_size=128)
score = model.evaluate(x_test, y_test, batch_size=128)

類似VGG的卷積神經網絡：

import numpy as np
import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.optimizers import SGD

# 生成虛擬數據
x_train = np.random.random((100, 100, 100, 3))
y_train = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)
x_test = np.random.random((20, 100, 100, 3))
y_test = keras.utils.to_categorical(np.random.randint(10, size=(20, 1)), num_classes=10)

model = Sequential()
# 輸入: 3 通道 100x100 像素圖像 -> (100, 100, 3) 張量。
# 使用 32 個大小為 3x3 的卷積濾波器。
model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(100, 100, 3)))
model.add(Conv2D(32, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(10, activation='softmax'))

sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy', optimizer=sgd)

model.fit(x_train, y_train, batch_size=32, epochs=10)
score = model.evaluate(x_test, y_test, batch_size=32)

基於 1D 卷積的序列分類：

from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.layers import Embedding
from keras.layers import Conv1D, GlobalAveragePooling1D, MaxPooling1D

seq_length = 64

model = Sequential()
model.add(Conv1D(64, 3, activation='relu', input_shape=(seq_length, 100)))
model.add(Conv1D(64, 3, activation='relu'))
model.add(MaxPooling1D(3))
model.add(Conv1D(128, 3, activation='relu'))
model.add(Conv1D(128, 3, activation='relu'))
model.add(GlobalAveragePooling1D())
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

model.fit(x_train, y_train, batch_size=16, epochs=10)
score = model.evaluate(x_test, y_test, batch_size=16)