Paddle Serving 是 PaddlePaddle 的在线预估服务框架,能够帮助开发者轻松实现从移动端、服务器端调用深度学习模型的远程预测服务。当前 Paddle Serving 以支持 PaddlePaddle 训练的模型为主,可以与 Paddle 训练框架联合使用,快速部署预估服务。
Paddle Serving 围绕常见的工业级深度学习模型部署场景进行设计,一些常见的功能包括多模型管理、模型热加载、基于 brpc 的高并发低延迟响应能力、在线模型 A/B 实验等。与 Paddle 训练框架互相配合的 API 可以使用户在训练与远程部署之间无缝过度,提升深度学习模型的落地效率。