tf.keras.layers和 tf.layers 的一个区别

创建全连接层的时候tf 1.15  提供了2个函数：

tf.keras.layers.Dense 和 tf.layers.Dense  

这2个函数的用法看上去一模一样

tf.keras.layers.Dense(     units, activation=None, use_bias=True, kernel_initializer='glorot_uniform',     bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None,     activity_regularizer=None, kernel_constraint=None, bias_constraint=None,     **kwargs ) tf.layers.Dense( units, activation=None, use_bias=True, kernel_initializer=None, bias_initializer=tf.zeros_initializer(), kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None, trainable=True, name=None, **kwargs )

 但是在实际上使用的时候有一个大坑：正则项的保存位置

正常情况下，我们使用

weights = tf.get_variable(name='weights', initializer=init, regularizer=tf.nn.l2_loss)

来定义一个带有正则项的系数矩阵。（这里额外插一句，这种方法有一个缺陷，tf 只提供了tf.nn.l2_loss  而没有提供 tf.nn.l1_loss，呵呵呵呵呵，如果想用l1 正则，还是自己手动写吧）这样定义的系数矩阵的正则项保存在tf.GraphKeys.REGULARIZATION_LOSSES 中。

我用tf.layers.Dense 定义的全连接层，loss 也确实都在里面tf.GraphKeys.REGULARIZATION_LOSSES

dense_layer = tf.layers.Dense(layer2_units, use_bias=True, trainable=is_training, activation = tf.nn.leaky_relu, kernel_regularizer=tf.keras.regularizers.l1_l2(l1=0.001,l2=0.001))

 但是我用tf.keras.layers.Dense

dense_layer = tf.keras.layers.Dense(layer2_units, use_bias=True, trainable=is_training, activation = tf.nn.leaky_relu, kernel_regularizer=tf.keras.regularizers.l1_l2(l1=0.001,l2=0.001))

 发现loss 并没有保存在tf.GraphKeys.REGULARIZATION_LOSSES 中，几经查找，终于找到loss 保存在了 dense_layer.losses 中