人工智能深度學習：TensorFlow2.0如何結構化數據分類?

本教程展示了如何對結構化數據進行分類（例如CSV中的表格數據）。我們使用Keras定義模型，並將csv中各列的特征轉化為訓練的輸入。 本教程包含一下功能代碼：

• 使用Pandas加載CSV文件。
• 構建一個輸入的pipeline，使用tf.data批處理和打亂數據。
• 從CSV中的列映射到用於訓練模型的輸入要素。
• 使用Keras構建，訓練和評估模型。

1.數據集

我們將使用克利夫蘭診所心臟病基金會提供的一個小數據集。 CSV中有幾百行。 每行描述一個患者，每列描述一個屬性。 我們將使用此信息來預測患者是否患有心臟病，該疾病在該數據集中是二元分類任務。

2.准備數據

使用pandas讀取數據

URL = 'https://storage.googleapis.com/applied-dl/heart.csv'
dataframe = pd.read_csv(URL)
dataframe.head()

age sex cp trestbps chol fbs restecg thalach exang oldpeak slope ca thal target 0 63 1 1 145 233 1 2 150 0 2.3 3 0 fixed 0 1 67 1 4 160 286 0 2 108 1 1.5 2 3 normal 1 2 67 1 4 120 229 0 2 129 1 2.6 2 2 reversible 0 3 37 1 3 130 250 0 0 187 0 3.5 3 0 normal 0 4 41 0 2 130 204 0 2 172 0 1.4 1 0 normal 0

划分訓練集驗證集和測試集

train, test = train_test_split(dataframe, test_size=0.2)
train, val = train_test_split(train, test_size=0.2)
print(len(train), 'train examples')
print(len(val), 'validation examples')
print(len(test), 'test examples')
193 train examples
49 validation examples
61 test examples

使用tf.data構造輸入pipeline

def df_to_dataset(dataframe, shuffle=True, batch_size=32):
    dataframe = dataframe.copy()
    labels = dataframe.pop('target')
    ds = tf.data.Dataset.from_tensor_slices((dict(dataframe), labels))
    if shuffle:
        ds = ds.shuffle(buffer_size=len(dataframe))
    ds = ds.batch(batch_size)
    return ds

batch_size = 5
train_ds = df_to_dataset(train, batch_size=batch_size)
val_ds = df_to_dataset(val, shuffle=False, batch_size=batch_size)
test_ds = df_to_dataset(test, shuffle=False, batch_size=batch_size)
for feature_batch, label_batch in train_ds.take(1):
    print('Every feature:', list(feature_batch.keys()))
    print('A batch of ages:', feature_batch['age'])
    print('A batch of targets:', label_batch )
Every feature: ['age', 'sex', 'cp', 'trestbps', 'chol', 'fbs', 'restecg', 'thalach', 'exang', 'oldpeak', 'slope', 'ca', 'thal']
A batch of ages: tf.Tensor([61 51 57 51 44], shape=(5,), dtype=int32)
A batch of targets: tf.Tensor([0 0 0 1 0], shape=(5,), dtype=int32)

3.tensorflow的feature column

example_batch = next(iter(train_ds))[0]
def demo(feature_column):
    feature_layer = layers.DenseFeatures(feature_column)
    print(feature_layer(example_batch).numpy())

數字列

特征列的輸出成為模型的輸入。 數字列是最簡單的列類型。 它用於表示真正有價值的特征。 使用此列時，模型將從數據框中接收未更改的列值。

age = feature_column.numeric_column("age")
demo(age)
[[61.]
 [51.]
 [57.]
 [51.]
 [44.]]

Bucketized列（桶列）

通常，您不希望將數字直接輸入模型，而是根據數值范圍將其值分成不同的類別。 考慮代表一個人年齡的原始數據。 我們可以使用bucketized列將年齡分成幾個桶，而不是將年齡表示為數字列。 請注意，下面的one-hot描述了每行匹配的年齡范圍。

age_buckets = feature_column.bucketized_column(age, boundaries=[
    18, 25, 30, 35, 40, 50
])
demo(age_buckets)
[[0. 0. 0. 0. 0. 0. 1.]
 [0. 0. 0. 0. 0. 0. 1.]
 [0. 0. 0. 0. 0. 0. 1.]
 [0. 0. 0. 0. 0. 0. 1.]
 [0. 0. 0. 0. 0. 1. 0.]]

類別列

在該數據集中，thal表示為字符串（例如“固定”，“正常”或“可逆”）。 我們無法直接將字符串提供給模型。 相反，我們必須首先將它們映射到數值。 類別列提供了一種將字符串表示為單熱矢量的方法（就像上面用年齡段看到的那樣）。 類別表可以使用categorical_column_with_vocabulary_list作為列表傳遞，或者使用categorical_column_with_vocabulary_file從文件加載。

thal = feature_column.categorical_column_with_vocabulary_list('thal', ['fixed', 'normal', 'reversible'])
thal_one_hot = feature_column.indicator_column(thal)
demo(thal_one_hot)
[[0. 0. 1.]
 [0. 1. 0.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 1. 0.]]

嵌入列

假設我們不是只有幾個可能的字符串，而是每個類別有數千（或更多）值。 由於多種原因，隨着類別數量的增加，使用單熱編碼訓練神經網絡變得不可行。 我們可以使用嵌入列來克服此限制。 嵌入列不是將數據表示為多維度的單熱矢量，而是將數據表示為低維密集向量，其中每個單元格可以包含任意數字，而不僅僅是0或1.嵌入的大小是必須訓練調整的參數。

注：當分類列具有許多可能的值時，最好使用嵌入列。

thal_embedding = feature_column.embedding_column(thal, dimension=8)
demo(thal_embedding)
[[ 0.21029451  0.28502795  0.27186757 -0.13927     0.44176006  0.18506278
  -0.14189719  0.2901029 ]
 [-0.02674027 -0.21359333 -0.26675928  0.6544374   0.12530805 -0.5243998
  -0.23030454 -0.10796055]
 [ 0.21029451  0.28502795  0.27186757 -0.13927     0.44176006  0.18506278
  -0.14189719  0.2901029 ]
 [ 0.21029451  0.28502795  0.27186757 -0.13927     0.44176006  0.18506278
  -0.14189719  0.2901029 ]
 [-0.02674027 -0.21359333 -0.26675928  0.6544374   0.12530805 -0.5243998
  -0.23030454 -0.10796055]]

哈希特征列

表示具有大量值的分類列的另一種方法是使用categorical_column_with_hash_bucket。 此功能列計算輸入的哈希值，然后選擇一個hash_bucket_size存儲桶來編碼字符串。 使用此列時，您不需要提供詞匯表，並且可以選擇使hash_buckets的數量遠遠小於實際類別的數量以節省空間。

注：該技術的一個重要缺點是可能存在沖突，其中不同的字符串被映射到同一個桶。

thal_hashed = feature_column.categorical_column_with_hash_bucket('thal', hash_bucket_size=1000)
demo(feature_column.indicator_column(thal_hashed))
[[0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]]

交叉功能列

將特征組合成單個特征（更好地稱為特征交叉），使模型能夠為每個特征組合學習單獨的權重。 在這里，我們將創建一個與age和thal交叉的新功能。 請注意，crossed_column不會構建所有可能組合的完整表（可能非常大）。 相反，它由hashed_column支持，因此您可以選擇表的大小。

crossed_feature = feature_column.crossed_column([age_buckets, thal], hash_bucket_size=1000)
demo(feature_column.indicator_column(crossed_feature))
[[0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]]

4.選擇使用feature column

feature_columns = []

# numeric cols
for header in ['age', 'trestbps', 'chol', 'thalach', 'oldpeak', 'slope', 'ca']:
    feature_columns.append(feature_column.numeric_column(header))

# bucketized cols
age_buckets = feature_column.bucketized_column(age, boundaries=[18, 25, 30, 35, 40, 45, 50, 55, 60, 65])
feature_columns.append(age_buckets)

# indicator cols
thal = feature_column.categorical_column_with_vocabulary_list(
      'thal', ['fixed', 'normal', 'reversible'])
thal_one_hot = feature_column.indicator_column(thal)
feature_columns.append(thal_one_hot)

# embedding cols
thal_embedding = feature_column.embedding_column(thal, dimension=8)
feature_columns.append(thal_embedding)

# crossed cols
crossed_feature = feature_column.crossed_column([age_buckets, thal], hash_bucket_size=1000)
crossed_feature = feature_column.indicator_column(crossed_feature)
feature_columns.append(crossed_feature)

構建特征層

feature_layer = tf.keras.layers.DenseFeatures(feature_columns)
batch_size = 32
train_ds = df_to_dataset(train, batch_size=batch_size)
val_ds = df_to_dataset(val, shuffle=False, batch_size=batch_size)
test_ds = df_to_dataset(test, shuffle=False, batch_size=batch_size)

5.構建模型並訓練

model = tf.keras.Sequential([
    feature_layer,
    layers.Dense(128, activation='relu'),
    layers.Dense(128, activation='relu'),
    layers.Dense(1, activation='sigmoid')
])

model.compile(optimizer='adam',
             loss='binary_crossentropy',
             metrics=['accuracy'])
model.fit(train_ds, validation_data=val_ds,epochs=5)
Epoch 1/5
7/7 [==============================] - 1s 133ms/step - loss: 1.1864 - accuracy: 0.6357 - val_loss: 0.6905 - val_accuracy: 0.5714
Epoch 2/5
7/7 [==============================] - 0s 24ms/step - loss: 0.9603 - accuracy: 0.6804 - val_loss: 0.4047 - val_accuracy: 0.8163
Epoch 3/5
7/7 [==============================] - 0s 24ms/step - loss: 0.5744 - accuracy: 0.7389 - val_loss: 0.6673 - val_accuracy: 0.7755
Epoch 4/5
7/7 [==============================] - 0s 24ms/step - loss: 0.4890 - accuracy: 0.8092 - val_loss: 0.6298 - val_accuracy: 0.6122
Epoch 5/5
7/7 [==============================] - 0s 24ms/step - loss: 0.5618 - accuracy: 0.6795 - val_loss: 0.3861 - val_accuracy: 0.8367





<tensorflow.python.keras.callbacks.History at 0x7fcb23e9d198>

測試

loss, accuracy = model.evaluate(test_ds)
print("Accuracy", accuracy)
2/2 [==============================] - 0s 16ms/step - loss: 0.8278 - accuracy: 0.6066
Accuracy 0.60655737

Tensorflow 2.0 入門教程：

TensorFlow 2.0 教程- Keras 快速入門

TensorFlow 2.0 教程-keras 函數api

TensorFlow 2.0 教程-使用keras訓練模型

TensorFlow 2.0 教程-用keras構建自己的網絡層

TensorFlow 2.0 教程-keras模型保存和序列化