新闻分类（python深度学习——多分类问题）

记：新闻分类问题时多分类问题，与电影评论分类很类似又有一些差别，电影评论只有两个分类，而新闻分类有46个分类，所以在空间维度上有所增加，多分类问题的损失函数与二分类问题选择不同，最后一层使用的激活函数不同，其他基本流程都是一样的。

1、路透社数据集：包含许多短新闻及其对应的主题，是一个简单的，广泛使用的文本分类数据集，包含46个不同的主题，每个主题至少有10个样本，其中有8982个训练样本和2246个测试样本。

2、在编码标签时有两种方法（注意损失函数的选择是不同的）：

     （1）将其转换为整数张量：

#转换为张量 y_train = np.array(train_labels) y_test = np.array(test_labels) #损失函数应选择：sparse_categorical_crossentropy model.compile(optimezer='rmsprop',loss='sparse_categorical_crossentropy',metrics=['acc'])

     (2)one-hot分类编码（两种实现方法）：

#①代码实现如下： def to_one_hot(labels,dimension=46): results=np.zeros((len(labels),dimension)) for i,label in enumerate(labels): results[i,label]=1. return results #将训练标签和测试标签向量化 one_hot_train_labels=to_one_hot(train_labels) one_hot_test_labels=to_one_hot(test_labels) #②keras内置方法实现 one_hot_train_labels=to_categorical(train_labels) one_hot_test_labels=to_categorical(test_labels) #损失函数的选择为：categorical_crossentropy model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])

3、完整代码及部分注释如下：

#加载路透社数据集 from keras.datasets import reuters (train_data,train_labels),(test_data,test_labels)=reuters.load_data(num_words=10000) print(len(train_data),len(test_data)) print(train_data[1]) print(train_labels)

输出结果如下图：

#将索引解码为新闻文本(非必须，只是解码出来查看一下) word_index=reuters.get_word_index()#将单词映射为整数索引的字典 reverse_word_index=dict([(value,key) for (key,value) in word_index.items()])#键值颠倒 decoded_review=' '.join([reverse_word_index.get(i-3,'?') for i in train_data[0]])#解码，i-3是因为0，1，2是“填充”，“序列开始”，“未知词” #查看解码后的数据 print(decoded_review)

解码后的新闻数据如下图：

#对数据进行编码 import numpy as np #将整数序列编码为二进制矩阵，之后才能够将数据输入到神经网络中 def vectorize_sequences(sequences,dimension=10000): results=np.zeros((len(sequences),dimension))#创建一个该形状的零矩阵 for i,sequence in enumerate(sequences): results[i,sequence]=1. return results #将训练数据和测试数据向量化 x_train=vectorize_sequences(train_data) x_test=vectorize_sequences(test_data) #将标签进行向量化，有两种方法分别是：将标签列表转化为整数张量，或者使用one-hot分类编码，代码实现如下 def to_one_hot(labels,dimension=46): results=np.zeros((len(labels),dimension)) for i,label in enumerate(labels): results[i,label]=1. return results #将训练标签和测试标签向量化 one_hot_train_labels=to_one_hot(train_labels) one_hot_test_labels=to_one_hot(test_labels) #在keras内置方法可以实现这个操作，如下： #one_hot_train_labels=to_categorical(train_labels) #one_hot_test_labels=to_categorical(test_labels) #构建网络，与电影评论分类不同的是，该问题的输出类别是46个，16维的空间无法区别46个分类，这个问题改成64维 #模型定义 from keras import models from keras import layers model=models.Sequential() model.add(layers.Dense(64,activation='relu',input_shape=(10000,))) model.add(layers.Dense(64,activation='relu')) model.add(layers.Dense(46,activation='softmax')) #编译模型 model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) #验证模型，留出1000个样本作为验证集 x_val=x_train[:1000] partical_x_train=x_train[1000:] y_val=one_hot_train_labels[:1000] partical_y_train=one_hot_train_labels[1000:] #训练模型，共20次迭代 history=model.fit(partical_x_train,partical_y_train, epochs=20,batch_size=512, validation_data=(x_val,y_val))

迭代过程数据如下图所示：（非完整截图）

#绘制训练损失和验证损失图像 import matplotlib.pyplot as plt history_dict=history.history loss_values=history_dict['loss'] val_loss_values=history_dict['val_loss'] epochs=range(1,len(loss_values)+1) plt.plot(epochs,loss_values,'bo',label='Training loss')#bo表示蓝色原点 plt.plot(epochs,val_loss_values,'b',label='Validation loss')#b表示蓝色实线 plt.title('training and validation loss') plt.xlabel('Epochs') plt.ylabel('Loss') plt.legend() plt.show() #绘制训练精度和验证精度图像 #绘制训练和验证精度 plt.clf() # clear figure acc_values = history_dict['acc'] val_acc_values = history_dict['val_acc'] plt.plot(epochs, acc_values, 'bo', label='Training acc') plt.plot(epochs, val_acc_values, 'b', label='Validation acc') plt.title('Training and validation accuracy') plt.xlabel('Epochs') plt.ylabel('Accuracy') plt.legend() plt.show()

两幅图如下所示：

#如上图，在第9轮时出现了过拟合，现在我们重新训练一个网络，迭代9测，然后再测试集上进行评估 model = models.Sequential() model.add(layers.Dense(64, activation='relu', input_shape=(10000,))) model.add(layers.Dense(64, activation='relu')) model.add(layers.Dense(46, activation='softmax')) model.compile(optimizer='rmsprop',loss='categorical_crossentropy', metrics=['accuracy']) model.fit(partical_x_train,partical_y_train, epochs=9,batch_size=512, validation_data=(x_val, y_val)) results = model.evaluate(x_test, one_hot_test_labels) print(results)

测评结果如下图：（测试精度达到了78%）

#在新数据上生成预测结果 predict_result=model.predict(x_test) print(predict_result.shape) print(predict_result[0]) print(np.sum(predict_result[0]))

预测结果如下图所示：（因为使用的是softmax，所以最后所有预测结果的为1，或者逼近1）