用keras實現基本的文本分類任務

數據集介紹

包含來自互聯網電影數據庫的50000條影評文本，對半拆分為訓練集和測試集。訓練集和測試集之間達成了平衡，意味着它們包含相同數量的正面和負面影評，每個樣本都是一個整數數組，表示影評中的字詞。每個標簽都是整數值 0 或 1，其中 0 表示負面影評，1 表示正面影評。

注意事項

1. 如果下載imdb數據集失敗，可以在我的Github上下載：https://github.com/MartinLwx/ML-DL
2. 影評文本已轉換為整數，其中每個整數都表示字典中的一個特定字詞
3. 由於影評的長度必須相同，我們將使用pad_sequences函數將長度標准化
4. 創建驗證集

代碼

import tensorflow as tf
import keras
import numpy as np

imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

#填充數據
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=0,
                                                        padding='post',
                                                        maxlen=256)

test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=0,
                                                       padding='post',
                                                       maxlen=256)

#構建模型
vocab_size = 10000

model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D())     #對序列維度求平均值
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))
model.summary()

model.compile(optimizer=tf.train.AdamOptimizer(),
              loss='binary_crossentropy',
              metrics=['accuracy'])

#創建驗證集
x_val = train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=40,
                    batch_size=512,
                    validation_data=(x_val, y_val),
                    verbose=1)	#訓練集和測試集正確率分別是：97.87%，88.14%

result = model.evaluate(test_data,test_labels) #返回損失和准確率，我運行的結果是[0.34126000656127931, 0.86899999999999999]

參考

https://www.tensorflow.org/tutorials/keras/basic_text_classification?hl=zh-cn