关于测试的一个问题

[JiyangZhang]

文中提到这个模型是sentence-level的relation extracion模型，把每一个句子看成一个包来训练。您的代码中好像是根据包（entity pair)来测试的。请问您这种测试方法是否可行。谢谢.

[xuyanfu]

您好，虽然这篇文章的方法可以做到sentence-level. 但是关于远程监督的关系抽取数据集，之前的评测方式都是bag-level. 第一，主要是方便跟之前的工作进行比较。第二基于远程监督的假设，不能保证句子级别的标注都是正确的。

[JiyangZhang]

感谢回答。还有一个小问题，据我了解，之前bag-level测评作pr曲线的时候，作者作图的方法是将每个包对每种关系的概率进行排序，然后作pr曲线图。个人觉得这种方法更普遍，参考的是thunlp组的开源代码。

[xuyanfu]

我应该也进行排序啦，在test.py的126行。

[JiyangZhang]

重点是参与排序的概率的个数，您是每个entity_pair的最大的一个概率进行排序。Yankai Lin 如下回复我的邮件：
“ For drawing the aggregated precision-recall curve, if you have n entity pairs (not sentences, an entity pair may have several sentences), and m relations (including NA), the trained model will predict and produce the probability matrix of each sentence ([m-1, n]), which not includes NA, make a list of length of (m-1)*n, ranking it according to probability, and plot the precision-recall curve **accordingly.”
这是”Neural Relation Extraction with Selective Attention over Instances“的画法。

不过好像也没有一个绝对标准，只是thunlp是这么做的。再次感谢您的代码，给我提供了很大帮助！谢谢

[zxs1995]

您好，请问如果改进这篇论文，用bag-level的评测标准可以不

[ShellingFord221]

你好，也就是说，这篇文章的工作是sentence级别的训练（把每个句子当成一个包），然后bag级别的评测，目的是为了将结果与之前的方法比较？