more flexible config

Author: lartpang

readme.md

@@ -13,54 +13,58 @@ A Python-based salient object detection and video object segmentation evaluation
 ## 重要提示
 
 - 2021年03月21日
-  - 正式删除需要个人定制的评估文件，这部分直接会放到本仓库的Readme中的[Examples](#Examples)中，仅供参考。
-  - 将格式化输出功能调整，直接使用包`tabulate`处理，更加方便，输出的格式配置更丰富，详见<https://github.com/astanin/python-tabulate>
-  - 调整原来`cal_sod_matrics`的`skipped_datasets`为`get_datasets_info`的`specific_datasets`和`drawing_info`的`specific_methods`。
+    - 正式删除需要个人定制的评估文件，这部分直接会放到本仓库的Readme中的[Examples](#Examples)中，仅供参考。
+    - 将格式化输出功能调整，直接使用包`tabulate`处理，更加方便，输出的格式配置更丰富，详见<https://github.com/astanin/python-tabulate>
+    - 调整原来`cal_sod_matrics`的`skipped_datasets`为:
+      - `get_datasets_info`的`exclude_datasets/include_datasets`
+      - `get_methods_info`的`exclude_methods/include_methods`。
 - 2021年03月14日
-  - 这一版本将数据集和方法的配置方法转换为基于json文件的配置。
-  - 一些配套的更改与简化。
+    - 这一版本将数据集和方法的配置方法转换为基于json文件的配置。
+    - 一些配套的更改与简化。
 - 2021年03月12日
-  - 这一版本正式将sod的评估、绘图代码与配置分离，主要考虑如下
-    - 用户的配置是需要调整的，这部分不适宜被git严格的监视，也便于提交后续更新的时候，直接忽略关于配置的更改，即后续更新时，
-      用户配置部分会不再更新，若是添加新功能，直接调整原始的函数，其参数默认关闭新功能，保证用户不会受到影响。
-    - sod和cosod评估方式有差异，但是绘图方式一致，所以现将评估绘图拆分成独立部分，置于metrics/sod文件夹下，之后或许或调整位置，
-      但这种拆分策略不变。
-  - 优化了cosod的评估代码，对sod和cosod的指标recorder部分进行了简化。
-  - 不再使用独立的sod_metrics代码，由于我已经将PySODMetrics发布到了PyPI上，所以可以直接通过pip安装。
-  - 使用添加了对于print的一个彩色增强的封装，可见`./utils/misc.py`中的`colored_print`。
-  - git不再跟踪方法配置文件和数据集配置文件，这部分现有的作为示例，仅供使用者独立补充和参考。
-  - 修复了之前绘制Fm曲线时x的问题，之前取反了。详见<https://github.com/lartpang/Py-SOD-VOS-EvalToolkit/issues/2>。
+    - 这一版本正式将sod的评估、绘图代码与配置分离，主要考虑如下
+        - 用户的配置是需要调整的，这部分不适宜被git严格的监视，也便于提交后续更新的时候，直接忽略关于配置的更改，即后续更新时，
+          用户配置部分会不再更新，若是添加新功能，直接调整原始的函数，其参数默认关闭新功能，保证用户不会受到影响。
+        - sod和cosod评估方式有差异，但是绘图方式一致，所以现将评估绘图拆分成独立部分，置于metrics/sod文件夹下，之后或许或调整位置， 但这种拆分策略不变。
+    - 优化了cosod的评估代码，对sod和cosod的指标recorder部分进行了简化。
+    - 不再使用独立的sod_metrics代码，由于我已经将PySODMetrics发布到了PyPI上，所以可以直接通过pip安装。
+    - 使用添加了对于print的一个彩色增强的封装，可见`./utils/misc.py`中的`colored_print`。
+    - git不再跟踪方法配置文件和数据集配置文件，这部分现有的作为示例，仅供使用者独立补充和参考。
+    - 修复了之前绘制Fm曲线时x的问题，之前取反了。详见<https://github.com/lartpang/Py-SOD-VOS-EvalToolkit/issues/2>。
 
 ## 特性
 
 * 提供11项显著性目标检测指标的评估
-  - F-measure-Threshold Curve
-  - Precision-Recall Curve
-  - MAE
-  - weighted F-measure
-  - S-measure
-  - max/mean/adaptive F-measure
-  - max/mean/adaptive E-measure
+    - F-measure-Threshold Curve
+    - Precision-Recall Curve
+    - MAE
+    - weighted F-measure
+    - S-measure
+    - max/mean/adaptive F-measure
+    - max/mean/adaptive E-measure
 * 测试代码高度优化
-  - 纯python实现，基于numpy和各种小trick计算各项指标，速度有保障
-  - 导出特定模型的结果到xlsx文件中（2021年01月04日重新提供支持）
-  - 导出测试结果到txt文件中
-  - 评估所有指定的方法，根据评估结果绘制PR曲线和F-measure曲线
+    - 纯python实现，基于numpy和各种小trick计算各项指标，速度有保障
+    - 导出特定模型的结果到xlsx文件中（2021年01月04日重新提供支持）
+    - 导出测试结果到txt文件中
+    - 评估所有指定的方法，根据评估结果绘制PR曲线和F-measure曲线
 * 针对**DAVIS 2016无监督视频目标分割**任务，提供`"J(M)", "J(O)", "J(D)", "F(M)", "F(O)", "F(D)"`等指标的评估（代码借鉴自davis官方的代码，建议使用前验证下）
-  - 导出对指定的模型预测结果的评估结果
-  - 表格化展示不同视频上模型预测的性能
+    - 导出对指定的模型预测结果的评估结果
+    - 表格化展示不同视频上模型预测的性能
 
 ## 使用方法
 
 ### General/Co-RGB/RGBD-SOD
 
-由于对于数据集和方法的配置因用户而异，所以在<https://github.com/lartpang/Py-SOD-VOS-EvalToolkit/commit/d7bcc1d74065844fe0483dc3ce3fda7d06d07bc0>之后的版本不在更新`configs`文件夹中的这部分内容，直接给出一个简单的例子，用户可以自行修改。
+由于对于数据集和方法的配置因用户而异，所以在<https://github.com/lartpang/Py-SOD-VOS-EvalToolkit/commit/d7bcc1d74065844fe0483dc3ce3fda7d06d07bc0>
+之后的版本不在更新`configs`文件夹中的这部分内容，直接给出一个简单的例子，用户可以自行修改。
 例子可以参考之前的版本，例如：<https://github.com/lartpang/Py-SOD-VOS-EvalToolkit/tree/f9c1fd5ffeef1a58067e31b9e6d28e9eb0754c46/configs>
 
 先安装指标代码库：
 
 ```python
-pip install pysodmetrics
+pip
+install
+pysodmetrics
 ```
 
 可见各自文件中的配置项。
@@ -126,7 +130,6 @@ pip install pysodmetrics
 }
 ```
 
-
 ## Examples
 
 <details>
@@ -236,6 +239,7 @@ draw_curves(
     dataset_info=dataset_info,
 )
 ```
+
 </details>
 
 <details>
@@ -287,14 +291,14 @@ output_path = "./output"
 # 包含所有数据集信息的字典
 dataset_info = get_datasets_info(
     datastes_info_json=data_info["dataset"],
-    specific_datasets=["STERE797"],
+    exclude_datasets=["STEREO797"],
 )
 # 包含所有待比较模型结果的信息和绘图配置的字典
 drawing_info = get_methods_info(
     methods_info_json=data_info["method"],
     for_drawing=for_drawing,
     our_name="",
-    specific_methods=["UCNet_ABP", "UCNet_CVAE"],
+    exclude_methods=["UCNet_ABP", "UCNet_CVAE"],
 )
 
 # 用来保存测试结果的文件的路径
@@ -363,6 +367,7 @@ if for_drawing:
         dataset_info=dataset_info,
     )
 ```
+
 </details>
 
 <details>
@@ -579,6 +584,7 @@ if __name__ == "__main__":
         dataset_info=dataset_info,
     )
 ```
+
 </details>
 
 <details>
@@ -710,6 +716,7 @@ if __name__ == "__main__":
     skipped_names = []  # 可以跳过指定的数据集
     cal_all_metrics()
 ```
+
 </details>
 
 <details>
@@ -833,7 +840,7 @@ def get_mean_recall_decay_for_video(per_frame_values):
     ids = np.round(np.linspace(1, len(per_frame_values), N_bins + 1) + 1e-10) - 1
     ids = ids.astype(np.uint8)
 
-    D_bins = [per_frame_values[ids[i] : ids[i + 1] + 1] for i in range(0, 4)]
+    D_bins = [per_frame_values[ids[i]: ids[i + 1] + 1] for i in range(0, 4)]
 
     with warnings.catch_warnings():
         warnings.simplefilter("ignore", category=RuntimeWarning)
@@ -1068,4 +1075,5 @@ if __name__ == "__main__":
     # show_results_from_data_file("./output/HDFNet_WSGNR50_V1.pkl")
     # show_results_from_data_file("./output/matnet_ave.pkl")
 ```
+
 </details>

utils/generate_info.py

@@ -58,27 +58,35 @@ def get_methods_info(
     methods_info_json: str,
     for_drawing: bool = False,
     our_name: str = "Ours",
-    specific_methods: list = None,
+    include_methods: list = None,
+    exclude_methods: list = None,
 ) -> OrderedDict:
     """
     在json文件中存储的对应方法的字典的键值会被直接用于绘图
 
     :param methods_info_json: 保存方法信息的json文件
     :param for_drawing: 是否用于绘制曲线图，True会补充一些绘图信息
     :param our_name: 在绘图时，可以通过指定our_name来使用红色加粗实线强调特定方法的曲线
-    :param specific_methods: 仅返回列表中指定的方法的信息，为None时，返回所有
+    :param include_methods: 仅返回列表中指定的方法的信息，为None时，返回所有
+    :param exclude_methods: 仅返回列表中指定的方法的信息，为None时，返回所有，与include_datasets必须仅有一个非None
     :return: methods_full_info
     """
 
     assert os.path.exists(methods_info_json) and os.path.isfile(
         methods_info_json
     ), methods_info_json
+    if include_methods and exclude_methods:
+        raise ValueError("include_methods、exclude_methods 不可以同时非None")
 
     with open(methods_info_json, encoding="utf-8", mode="r") as f:
         methods_info = json.load(f, object_pairs_hook=OrderedDict)  # 有序载入
 
-    if specific_methods:
-        for method_name in specific_methods:
+    if include_methods:
+        for method_name in include_methods:
+            if method_name not in methods_info:
+                raise ValueError(f"The info of {method_name} is not in the methods_info_json.")
+    if exclude_methods:
+        for method_name in exclude_methods:
             if method_name not in methods_info:
                 raise ValueError(f"The info of {method_name} is not in the methods_info_json.")
 
@@ -92,7 +100,9 @@ def get_methods_info(
 
     methods_full_info = []
     for method_name, method_path in methods_info.items():
-        if specific_methods and (method_name not in specific_methods):
+        if include_methods and (method_name not in include_methods):
+            continue
+        if exclude_methods and (method_name in exclude_methods):
             continue
 
         if for_drawing and our_name and our_name == method_name:
@@ -103,30 +113,41 @@ def get_methods_info(
     return OrderedDict(methods_full_info)
 
 
-def get_datasets_info(datastes_info_json: str, specific_datasets: list = None) -> OrderedDict:
+def get_datasets_info(
+    datastes_info_json: str, include_datasets: list = None, exclude_datasets: list = None
+) -> OrderedDict:
     """
     在json文件中存储的所有数据集的信息会被直接导出到一个字典中
 
     :param datastes_info_json: 保存方法信息的json文件
-    :param specific_datasets: 指定读取信息的数据集名字，为None时，读取所有
+    :param include_datasets: 指定读取信息的数据集名字，为None时，读取所有
+    :param exclude_datasets: 排除读取信息的数据集名字，为None时，读取所有，与include_datasets必须仅有一个非None
     :return: datastes_full_info
     """
 
     assert os.path.exists(datastes_info_json) and os.path.isfile(
         datastes_info_json
     ), datastes_info_json
+    if include_datasets and exclude_datasets:
+        raise ValueError("include_methods、exclude_methods 不可以同时非None")
 
     with open(datastes_info_json, encoding="utf-8", mode="r") as f:
         datasets_info = json.load(f, object_pairs_hook=OrderedDict)  # 有序载入
 
-    if specific_datasets:
-        for dataset_name in specific_datasets:
+    if include_datasets:
+        for dataset_name in include_datasets:
             if dataset_name not in datasets_info:
                 raise ValueError(f"The info of {dataset_name} is not in the datasets_info_json.")
+    if exclude_datasets:
+        for dataset_name in exclude_datasets:
+            if dataset_name not in datasets_info:
+                raise ValueError(f"The info of {dataset_name} is not in the methods_info_json.")
 
     datasets_full_info = []
     for dataset_name, data_path in datasets_info.items():
-        if specific_datasets and (dataset_name not in specific_datasets):
+        if include_datasets and (dataset_name not in include_datasets):
+            continue
+        if exclude_datasets and (dataset_name in exclude_datasets):
             continue
 
         datasets_full_info.append((dataset_name, data_path))