在推理服务中使用tf.Session时，线程安全吗？

小编典典

在推理服务中使用tf.Session时，线程安全吗？

python

现在我们已经使用TensorFlow训练和导出模型。我们可以像使用方法tensorflow/serving一样使用此模型来实现推理服务。

我有一个关于该tf.Session对象是否是线程安全的问题。如果为true，我们可以在启动后初始化该对象，并使用singleton对象处理并发请求。

阅读 215

2020-12-20

共1个答案

小编典典

该tf.Session对象对于Session.run()来自多个线程的调用是线程安全的。

在TensorFlow
0.10之前，图形修改不是线程安全的。这个问题在0.10版本中已修复，因此您可以在Session.run()调用的同时添加节点到图中，尽管出于性能原因不建议这样做。相反，建议sess.graph.finalize()在从多个线程使用会话之前进行调用，以防止意外的内存泄漏。

2020-12-20