如何对已经生成的SFT数据进行数据清洗以及去重的工作

### Problem Description / 问题描述

感谢您的工作
现阶段我有完整的SFT的数据，但是需要使用数据清洗以及去重的功能，希望您能给解答下

### System Info (`dataflow env`) / 系统信息（`dataflow env`）

无

### Minimal Reproducible Example / 最小可复现示例

```text
# e.g.
from dataflow.operators.generate import PromptedVQA
...
```


### Additional Information / 其他补充

_No response_