相比现有 Inference Serving 系统（Shepherd [NSDI'23]、 GPUlet [ATC'22]、 AlpaServe [OSDI'23]），USHER 可以提高 2.6 倍推理服务的 Goodput。 作者进一步探究了，如何进行 workload division 能够提高性能。