PaddleX/latest/practical_tutorials/high_performance_npu_tutorial

[giscus[bot]]

PaddleX/latest/practical_tutorials/high_performance_npu_tutorial

https://paddlepaddle.github.io/PaddleX/latest/practical_tutorials/high_performance_npu_tutorial.html

[huameinan219]

我参照上述教程进行OCR产线的OM后端推理，发现速度很慢，如果我注释掉

for res in output:
res.print()
res.save_to_img("./output/")
res.save_to_json("./output/")

发现速度很快，但是直接打印output是一个<generator object AutoParallelSimpleInferencePipeline.predict at 0xfffe6453ceb0>。
我预热了10轮，推理新的图片还是很慢，我添加

import os
os.environ["FLAGS_npu_jit_compile"] = "0"

仍然无法改善性能，请问我应该如何做？我使用的paddle包相关版本如下所示：

paddle-custom-npu 3.2.0
paddle2onnx 2.0.1
paddleocr 3.3.2
paddlepaddle 3.2.0
paddlex 3.3.10