[Most-ai-contest] Ensemble analysis of date-duration questions

[kysu]

>狀況會是前者，例如以下例子：問題問的是「哪一年」，答案的計算公式為「1057年 - 20歲 = 1037年」

 

Thanks for detailed explanation. Maybe we can create a compatible-set {年, 歲 }, and slightly revise your current restriction-rule to allow both “年” and “歲” in the equation.

 

KY

 

From: 郭家銍 [mailto:jerrykuo7727 at gmail.com] 
Sent: Wednesday, December 25, 2019 10:44 PM
To: kysu <kysu at iis.sinica.edu.tw>
Cc: Most-ai Contest <Most-ai-contest at iis.sinica.edu.tw>; 范正忠 <jjfan at iis.sinica.edu.tw>
Subject: Re: [Most-ai-contest] Ensemble analysis of date-duration questions

 

蘇老師好：

 

狀況會是前者，例如以下例子：

問題問的是「哪一年」，答案的計算公式為「1057年 - 20歲 = 1037年」

 

文章：

嘉佑二年（1057年），苏轼才20岁，与弟弟苏辙一同进京参加会考，苏轼中进士第2名。当时主试官是欧阳修，苏轼以一篇《刑赏忠厚之至论》的论文得到考官梅尧臣的青睐，并推荐给主试官欧阳修。欧阳修亦十分赞赏，原本欲拔擢为第一，但又怕该文为自己的门生曾巩所作，为了避嫌，列为第二。结果试卷拆封后才发现该文为苏轼所作，而取为第一的是曾巩，正是阴错阳差，弄巧成拙。到了礼部复试时，苏轼再以《春秋对义》居曾巩之前，中乙科。\n治平三年（1066年），父苏洵过世，苏轼回蜀守丧，英宗怜之，同意以官船载运苏轼一家。\n熙宁二年（1069年），任祠部员外郎，反对王安石变法中的一些作为，王安石于是屡次在神宗面前诋毁苏轼，司马光、范镇举荐苏轼作谏官，王安石力反之，神宗想让苏轼写起居注，王安石向神宗进言，说苏轼在回家守丧时，乘机贩运苏木（一种染料），最后神宗放弃这个任命。三年，因为苏轼一直反对王安石，王安石门下的御史谢景温又诬陷苏轼贩卖私盐，范镇极辩苏轼贩盐之诬，并愿意退休负责。

 

題目：

苏东坡出生于哪一年?

 

答案：

1037年

 

Respectfully yours,

郭家銍

 

kysu <kysu at iis.sinica.edu.tw <mailto:kysu at iis.sinica.edu.tw> > 於 2019年12月25日 週三 下午10:09寫道：

>因為AMODE是date-duration的問題，計算時的單位常常與問題不一致

 

Do you mean that the desired math-formula will include a unit which is inconsistent with that is asked in the question? Or, an incorrect answer is generated due to involving two quantities with unmatched units? If it is the latter case, maybe we can add a checking-procedure to filter out those unmatched candidates. Could you please give an example with more details? Thanks.

 

KY

 

From: 郭家銍 [mailto:jerrykuo7727 at gmail.com <mailto:jerrykuo7727 at gmail.com> ] 
Sent: Wednesday, December 25, 2019 9:32 PM
To: Most-ai Contest <Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> >; kysu <kysu at iis.sinica.edu.tw <mailto:kysu at iis.sinica.edu.tw> >
Subject: [Most-ai-contest] Ensemble analysis of date-duration questions

 

蘇老師您好：

 

目前在date-duration上實驗了用三個不同的模型作ensemble

對於AMODE是date-duration的問題，EM會從42.0下降到39.1

對於ATYPE是date-duration的single-span問題，EM則從57.0上升到60.7

 

初步的分析，是因為ensemble會讓模型預測的答案與問題更加吻合

(e.g. question問「幾年」，則ensemble後的N-best預測幾乎都是「XX年」)

 

這對single-span問題有正面效益，但對AMODE是date-duration時卻有害

因為AMODE是date-duration的問題，計算時的單位常常與問題不一致

以問題問「幾年？」的例子來說，可能出現以下的計算形式：

1037年 + 20歲 = 1057年

24歲 - 18歲 = 6年

 

Respectfully yours,

郭家銍

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20191225/f5a05eaf/attachment.html>