尽管重用设置为true，Tensorflow仍创建新变量

小编典典

尽管重用设置为true，Tensorflow仍创建新变量

python

我正在尝试构建基本的RNN，但是在训练后尝试使用网络时会出错。我将网络架构保持在功能中inference

def inference(inp):
    with tf.name_scope("inference"):
        layer = SimpleRNN(1, activation='sigmoid',   return_sequences=False)(inp)
        layer = Dense(1)(layer)

    return layer

但是每次我调用它时，尽管在训练中使用相同的作用域，也会创建另一组变量：

def train(sess, seq_len=2, epochs=100):
    x_input, y_input = generate_data(seq_len)

    with tf.name_scope('train_input'):
        x = tf.placeholder(tf.float32, (None, seq_len, 1))
        y = tf.placeholder(tf.float32, (None, 1))

    with tf.variable_scope('RNN'):
        output = inference(x)

    with tf.name_scope('training'):
        loss = tf.losses.mean_squared_error(labels=y, predictions=output)
        train_op = tf.train.RMSPropOptimizer(learning_rate=0.1).minimize(loss=loss, global_step=tf.train.get_global_step())

    with sess.as_default():
        sess.run([tf.global_variables_initializer(), tf.local_variables_initializer()])

        for i in tqdm.trange(epochs):
            ls, res, _ = sess.run([loss, output, train_op], feed_dict={x:x_input, y:y_input})
            if i%100==0:
                print(f'{ls}: {res[10]} - {y_input[10]}')
            x_input, y_input = generate_data(seq_len)

和预测：

def predict_signal(sess, x, seq_len):   
    # Preparing signal (omitted)
    # Predict
    inp = tf.convert_to_tensor(prepared_signal, tf.float32)
    with sess.as_default():
        with tf.variable_scope('RNN', reuse=True) as scope:
            output = inference(inp)
            result = output.eval()

    return result

到目前为止，我已经花了几个小时阅读有关变量范围的信息，但是在运行预测时仍然会收到错误消息Attempting to use uninitialized value RNN_1/inference/simple_rnn_2/kernel，每次调用RNN_1的数量都会增加

阅读 133

2020-12-20

共1个答案

小编典典

这只是猜测，直到您向我们展示SimpleRNN实现方案为止。但是，我怀疑这SimpleRNN是很不好实现的。有一个不同的getweentf.get_variable和tf.Variable。我希望您SimpleRNN能使用tf.Variable。

要重现此行为：

import tensorflow as tf


def inference(x):
    w = tf.Variable(1., name='w')
    layer = x + w
    return layer


x = tf.placeholder(tf.float32)

with tf.variable_scope('RNN'):
    output = inference(x)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(output, {x: 10}))

    with sess.as_default():
        with tf.variable_scope('RNN', reuse=True):
            output2 = inference(x)

    print(sess.run(output2, {x: 10}))

这给出了完全相同的错误：

尝试使用未初始化的值RNN_1 / w

但是，带有w = tf.get_variable('w', initializer=1.)而不是的版本w = tf.Variable(1., name='w')可以正常工作。

为什么？参见文档：

tf.get_variable:

使用这些参数获取现有变量或创建一个新变量。此函数在名称前加上当前变量作用域，并执行 重用检查 。

编辑谢谢您的问题（我在您的问题中添加了keras标志）。现在，这正成为我最喜欢的向人们展示为什么使用Keras是他们做出的最糟糕决定的原因。

SimpleRNN在此处创建变量：

self.kernel = self.add_weight(shape=(input_shape[-1], self.units),
                                      name='kernel',...)

这执行行

weight = K.variable(initializer(shape),
                    dtype=dtype,
                    name=name,
                    constraint=constraint)

它在这里结束了

v = tf.Variable(value, dtype=tf.as_dtype(dtype), name=name)

这是实施中的明显缺陷。在Keras以正确的方式使用TensorFlow之前（至少尊重scopesand variable- collections），您应该寻找替代方案。最好的建议是改用像官员这样的东西tf.layers。

2020-12-20