<div dir="ltr">蘇老師您好：<div><br></div><div>新版的Date-duration與arithmetic module皆已寄給范博士</div><div><br></div><div>新版modules有以下兩點改進：</div><div>1. 限制模型的N-best預測值為長度20字內的非空字串(能同時改善EM/F1)</div><div>2. 基於第一點改進，在post-processing得以找到並加入更多的rules</div><div><br></div><div>目前在training set上date-duration的ACC會有大約42%</div><div>並且有些問題的標準答案是明顯有誤的(e.g. 問題問民國年份，答案卻寫西元年份)</div><div>若加上應視為正確的預測值，實際的ACC會在約50%</div><div><br></div><div>Respectfully yours,</div><div>郭家銍</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">kysu <<a href="mailto:kysu@iis.sinica.edu.tw">kysu@iis.sinica.edu.tw</a>> 於 2019年12月20日 週五 下午12:40寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">For 郭家銍,<br>
<br>
In the training-set:<br>
<br>
>ANSWER MODULE STATS (WHEN CORRECTLY ACTIVATED):<br>
>Date-Duration                    7 / 26 = 0.2692<br>
<br>
The performance of your module seems too low even in the training-set. Please check the problem. Thanks.<br>
<br>
KY<br>
<br>
-----Original Message-----<br>
From: 張光瑜 [mailto:<a href="mailto:simonc@iis.sinica.edu.tw" target="_blank">simonc@iis.sinica.edu.tw</a>] <br>
Sent: Friday, December 20, 2019 11:47 AM<br>
To: kysu <<a href="mailto:kysu@iis.sinica.edu.tw" target="_blank">kysu@iis.sinica.edu.tw</a>><br>
Cc: 'Most-ai Contest' <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
Subject: Re: [Most-ai-contest] The performance of the current integrated system on the dataset ver. 1.5<br>
<br>
I just forgot it.<br>
The attached files contain stats with the number of activations, correct answers.<br>
<br>
<br>
張光瑜 於 2019-12-20 11:30 寫到:<br>
> For the YesNo module:<br>
> We are still looking into this situation.<br>
> <br>
> For the date-duration module:<br>
> Since it also outputs single-span answers, it has a high probability<br>
> to get the correct answer when the correct answer mode is<br>
> single-span-extraction.<br>
> <br>
> For the output formatter:<br>
> It actually has 3 errors for the dev set and 3 errors for the test set.<br>
> DEV SET:<br>
> D108904: Output formatter was not activated.<br>
> D241Q07: Question is "世界上最大的教堂高度是幾公尺?", the official answer is "138米",<br>
> our formatted answer is "138公尺".<br>
> D299Q03: The official answer is "太陽能和風能", our formatted answer is <br>
> "太陽能及風能".<br>
> TEST SET:<br>
> D260Q06: "南京" was formatted into "年", it seems that it is caused by<br>
> ATYPE outputting "Date-Duration".<br>
> D283Q01: The question is "文中提及，作者共被退了幾次稿？", the official answer is "二"<br>
> or "2", our formatted answer is "二次".<br>
> D296Q01: The question is "此篇內容描述的是去台灣哪裡畢業旅行二日遊？", our answer "东台湾" was<br>
> formatted into "臺灣".<br>
> <br>
> <br>
> <br>
> kysu 於 2019-12-19 22:10 寫到:<br>
>> Simon,<br>
>> <br>
>> Thanks. Could you please also associate each module with its<br>
>> #Activation (i.e., the number of times that it is correctly/wrongly<br>
>> activated) and its %Activation (i.e., its relative percentage among<br>
>> the total number of activation-times)? Thanks.<br>
>> <br>
>> The performance of “Date-Duration” module seems strange. Also,<br>
>> “Output-Formatter” is unable to keep two answers in either Dev or<br>
>> Test data-sets. Please take a look.<br>
>> <br>
>> Last, the performance of “YES/NO” module is surprisingly good. Is<br>
>> its associated setting correct?<br>
>> <br>
>> KY<br>
>> <br>
>> FROM: <a href="mailto:most-ai-contest-bounces@iis.sinica.edu.tw" target="_blank">most-ai-contest-bounces@iis.sinica.edu.tw</a><br>
>> [mailto:<a href="mailto:most-ai-contest-bounces@iis.sinica.edu.tw" target="_blank">most-ai-contest-bounces@iis.sinica.edu.tw</a>] ON BEHALF OF<br>
>> 張光瑜<br>
>> SENT: Thursday, December 19, 2019 9:50 PM<br>
>> TO: 范正忠 <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> CC: Most-ai Contest <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> SUBJECT: Re: [Most-ai-contest] The performance of the current<br>
>> integrated system on the dataset ver. 1.5<br>
>> <br>
>> Dear all,<br>
>> <br>
>> The attached files contain the statistics and errors for our results.<br>
>> <br>
>> 張光瑜<br>
>> <br>
>> -------------------------<br>
>> <br>
>> 寄件者: "范正忠" <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> 收件者: "Most-ai Contest" <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> 寄件備份: 2019 12 月 19 星期四 上午 9:58:38<br>
>> 主旨: Re: [Most-ai-contest] The performance of the current<br>
>> integrated system on the dataset ver. 1.5<br>
>> <br>
>> Dear all,<br>
>> <br>
>> Enclosed please find train/dev/test dataset (1.5) performance using<br>
>> <br>
>> 1.  廖沛俊 bestBERTFGC_full_em Bert Model<br>
>> <br>
>> 2. Dr. Chang aggregrator<br>
>> <br>
>> 3. Dr. Chang single-span-multi-hops enable<br>
>> <br>
>> 4. Smolka kinship_module4<br>
>> <br>
>> train: 0.65, dev: 0.55, test: 0.53<br>
>> <br>
>> Best,<br>
>> <br>
>> jjfan<br>
>> <br>
>> -------------------------<br>
>> <br>
>> FROM: "范正忠" <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> TO: "Most-ai Contest" <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> SENT: Wednesday, December 18, 2019 3:56:18 PM<br>
>> SUBJECT: Re: [Most-ai-contest] The performance of the current<br>
>> integrated system on the dataset ver. 1.5<br>
>> <br>
>> Dear all,<br>
>> <br>
>> Enclosed please find train/dev/test dataset (1.5) performance using<br>
>> <br>
>> 1.  廖沛俊 bestBERTFGC_full_em Bert Model<br>
>> <br>
>> 2. Dr. Chang aggregrator<br>
>> <br>
>> 3. Dr. Change single-span-multi-hops enable<br>
>> <br>
>> train: 0.65, dev: 0.55, test: 0.52<br>
>> <br>
>> Best,<br>
>> <br>
>> jjfan<br>
>> <br>
>> -------------------------<br>
>> <br>
>> FROM: "范正忠" <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> TO: "Most-ai Contest" <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> SENT: Wednesday, December 18, 2019 11:30:36 AM<br>
>> SUBJECT: Re: [Most-ai-contest] The performance of the current<br>
>> integrated system on the dataset ver. 1.5<br>
>> <br>
>> Dear all,<br>
>> <br>
>> Enclosed please find train/dev/test dataset (1.5) performance using<br>
>> <br>
>> 1.  廖沛俊 bestBERTFGC_full_em Bert Model<br>
>> <br>
>> 2. Dr. Chang aggregrator<br>
>> <br>
>> Best,<br>
>> <br>
>> jjfan<br>
>> <br>
>> -------------------------<br>
>> <br>
>> FROM: "范正忠" <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> TO: "Most-ai Contest" <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> SENT: Saturday, December 14, 2019 4:47:37 PM<br>
>> SUBJECT: [Most-ai-contest] The performance of the current integrated<br>
>> system on the dataset ver. 1.5<br>
>> <br>
>> Dear all,<br>
>> <br>
>> Enclosed please find the performance of our current integrated system<br>
>> on train / dev dataset.<br>
>> <br>
>> Please refer to the AMODE fields in each question for each module's<br>
>> performance.<br>
>> <br>
>> Hope this can help the error analysis of each module and please share<br>
>> your finding in the next week's meeting.<br>
>> <br>
>> I am still waiting for 'multi-spans-extraction' & 'supporting<br>
>> evidence' modules to integrate. Please anyone has improved version<br>
>> just send to me.<br>
>> <br>
>> Best,<br>
>> <br>
>> jjfan<br>
>> <br>
>> -------------------------<br>
>> <br>
>> FROM: "范正忠" <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> TO: "Most-ai Contest" <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> SENT: Monday, November 25, 2019 9:39:07 AM<br>
>> SUBJECT: Re: [Most-ai-contest] It's time to start system integration<br>
>> <br>
>> Dear all,<br>
>> <br>
>> Please don't forget give me a readme.txt or I really don't know what<br>
>> is inside.<br>
>> <br>
>> Suggest readme.txt contains at least<br>
>> <br>
>> 1. Brief API description / document, function list at minimum<br>
>> <br>
>> 2. System requirements<br>
>> <br>
>> Thanks.<br>
>> <br>
>> jjfan<br>
>> <br>
>> -------------------------<br>
>> <br>
>> FROM: "范正忠" <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> TO: "Most-ai Contest" <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> SENT: Monday, November 25, 2019 9:18:05 AM<br>
>> SUBJECT: [Most-ai-contest] It's time to start system integration<br>
>> <br>
>> Dear all,<br>
>> <br>
>> Good Morning!<br>
>> <br>
>> It's time to start integration of the system. Please all module owners<br>
>> send me your Python Code. Thanks.<br>
>> <br>
>> Best,<br>
>> <br>
>> jjfan<br>
>> <br>
>> -------------------------<br>
>> <br>
>> FROM: "范正忠" <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> TO: "Most-ai Contest" <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> SENT: Thursday, November 14, 2019 8:58:50 AM<br>
>> SUBJECT: Re: [Most-ai-contest] 科技大擂台討論會(Today,<br>
>> 12:30-15:00)<br>
>> <br>
>> Dear all,<br>
>> <br>
>> Note the following action items should be finished today.<br>
>> <br>
>> 3. FGC_Questions_S7.json son 包含系統進行答題的過程中,<br>
>> 各個 module 預計輸出.<br>
>>    今日會議上討論要修改的部分, 請各位 module owner<br>
>> 儘快提出各自修改的部分給我,<br>
>> 一起整理完後再寄送給大家 (10/14 以前完成)<br>
>> 4. 提供個自 module 所需的 Python library 及使用的 Python<br>
>> version. (10/14 以前完成)<br>
>>    建議 pip list<br>
>> 7. 為了確保大家沒有誤會各自負責的 module function,<br>
>> 煩請簡單描述一下 (input, out, function) 為何. (10/14<br>
>> 以前完成)<br>
>> <br>
>> ITEM 4. PLEASE ALSO LIST ADDITIONAL INSTALLATIONS IF PIP IS NOT<br>
>> ENOUGH, SUCH AS DATABASE, FILES, ...<br>
>> <br>
>> Best,<br>
>> <br>
>> jjfan<br>
>> <br>
>> -------------------------<br>
>> <br>
>> FROM: "范正忠" <<a href="mailto:jjfan@iis.sinica.edu.tw" target="_blank">jjfan@iis.sinica.edu.tw</a>><br>
>> TO: "Po-Fen Lin" <<a href="mailto:pofen@iis.sinica.edu.tw" target="_blank">pofen@iis.sinica.edu.tw</a>><br>
>> CC: "Most-ai Contest" <<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a>><br>
>> SENT: Tuesday, November 12, 2019 5:29:03 PM<br>
>> SUBJECT: Re: [Most-ai-contest] 科技大擂台討論會(Today,<br>
>> 12:30-15:00)<br>
>> <br>
>> Dear all,<br>
>> <br>
>> 謝謝大家的參與討論.<br>
>> <br>
>> 附上今天討論的內容.<br>
>> 1. schedule.ppt 包含每個參與者的 job items<br>
>> 及未來計畫進行 milestones<br>
>> 2. FGC_release_A_all.json 包含 answer type, answer mode, ...<br>
>> 的基礎的 annotation. 提供大家參考<br>
>>    若發現 answer type 或 answer mode 有錯的地方, 請 email<br>
>> 通知我, 有我這邊統一修正, 在再寄送給大家更新版<br>
>> (隨時)<br>
>>    請廖沛俊儘快完成 answer keyword spans 的 annotation,<br>
>> 並將完成後的 json 檔案提供給我一起整理. (10/15<br>
>> 以前完成)<br>
>> 3. FGC_Questions_S7.json son 包含系統進行答題的過程中,<br>
>> 各個 module 預計輸出.<br>
>>    今日會議上討論要修改的部分, 請各位 module owner<br>
>> 儘快提出各自修改的部分給我,<br>
>> 一起整理完後再寄送給大家 (10/14 以前完成)<br>
>> 4. 提供個自 module 所需的 Python library 及使用的 Python<br>
>> version. (10/14 以前完成)<br>
>>    建議 pip list<br>
>> 5. 1007說明會簡報V9, 國網機器遠端連線操作說明:<br>
>> 請郭家鉦幫忙看一下如何處理"自動化介接"及"程式上傳/執行"<br>
>> 6. 附件二科技大擂台簡答題之答題規範,<br>
>> 科技大擂台簡答題之答題規範v2: 提供給謝尊安參考.<br>
>> 7. 為了確保大家沒有誤會各自負責的 module function,<br>
>> 煩請簡單描述一下 (input, out, function) 為何. (10/14<br>
>> 以前完成)<br>
>> <br>
>> 有任何問題, 請隨時讓我知道(email, line, skype, tel, ...).<br>
>> 我會一起來協助如何處理.<br>
>> 謝謝的家的幫忙!<br>
>> <br>
>> Best,<br>
>> jjfan<br>
>> <br>
>> _______________________________________________<br>
>> Most-ai-contest mailing list<br>
>> <a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
>> <a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
>> <br>
>> _______________________________________________<br>
>> Most-ai-contest mailing list<br>
>> <a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
>> <a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
>> <br>
>> _______________________________________________<br>
>> Most-ai-contest mailing list<br>
>> <a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
>> <a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
>> <br>
>> _______________________________________________<br>
>> Most-ai-contest mailing list<br>
>> <a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
>> <a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
>> <br>
>> _______________________________________________<br>
>> Most-ai-contest mailing list<br>
>> <a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
>> <a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
>> <br>
>> _______________________________________________<br>
>> Most-ai-contest mailing list<br>
>> <a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
>> <a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
>> <br>
>> _______________________________________________<br>
>> Most-ai-contest mailing list<br>
>> <a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
>> <a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
> <br>
> _______________________________________________<br>
> Most-ai-contest mailing list<br>
> <a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
> <a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
<br>
<br>
_______________________________________________<br>
Most-ai-contest mailing list<br>
<a href="mailto:Most-ai-contest@iis.sinica.edu.tw" target="_blank">Most-ai-contest@iis.sinica.edu.tw</a><br>
<a href="https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest" rel="noreferrer" target="_blank">https://www.iis.sinica.edu.tw/mailman/listinfo/most-ai-contest</a><br>
</blockquote></div>