[Most-ai-contest] 關於multi-span extractions 說明

[kysu]

OK. Thanks for the explanation.

 

KY

 

From: 闍怵羅 [mailto:s2w81234 at gmail.com] 
Sent: Monday, December 23, 2019 8:49 PM
To: kysu <kysu at iis.sinica.edu.tw>
Cc: Most-ai-contest at iis.sinica.edu.tw
Subject: Re: [Most-ai-contest] 關於multi-span extractions 說明

 

從問題提取出K個並不是strange做法

Multi-span的問題

可分為兩類

一、不指定數量（那些？那個？什麼？）

二、指定數量（那兩個？那四個？）

 

目前主要都是針對 

指定數量的問題來進行處理

所以才會有從問題提取幾個K的做法

 

 

這邊的提取幾個答案 是真的要提取不同的答案K

不是預測的top-k 因為這還設計within跟overrap的問題

伸直還要去處理

一個answer span也可能包含多個answer的問題

 

不指定數量的問題 要依賴後續NN-BASED或是rule來去選出要幾個

 

kysu <kysu at iis.sinica.edu.tw <mailto:kysu at iis.sinica.edu.tw> > 於 2019年12月23日 週一 20:26 寫道：

The way to decide K based on the question seems strange. I think it should be judged based on the related content.

 

KY

 

From: most-ai-contest-bounces at iis.sinica.edu.tw <mailto:most-ai-contest-bounces at iis.sinica.edu.tw>  [mailto:most-ai-contest-bounces at iis.sinica.edu.tw <mailto:most-ai-contest-bounces at iis.sinica.edu.tw> ] On Behalf Of 闍怵羅
Sent: Monday, December 23, 2019 7:20 PM
To: Most-ai-contest at iis.sinica.edu.tw <mailto:Most-ai-contest at iis.sinica.edu.tw> 
Subject: [Most-ai-contest] 關於multi-span extractions 說明

 

大家好，今日下午都在飛機上，無法即時回答問題非常抱歉

 

Multi-span的列舉題

現階段就是採取非常手段的做法

就是single-span採取topk

K從問題來提取

 

所以在問題表示 那些？ 什麼？的情況下

我也沒辦法有效評估 到底要取幾個

 

現在效能低落的原因還包含

他答案是不統一性的

像是 

預測答案民主與經濟

答案可能會寫

「民主」與「經濟」

或是答案 預測的順序相反

我預測A、B與C

 答案是B、C與A

甚至有一題

預測跟文本寫銅鋁

答案是銅與鋁

 

還有我自己在跑全部FGC data的時候

並沒有發生過error exception 等情況

 

再來 multi-span只有所謂的accuracy 

沒有所謂的F1

如果從F1的觀點來說

多數 要列舉並有給定數量的題目 

也有抓到期中是答案的2-3個

但是在真正整個列舉的時候 

少一個即為錯

 

 

 

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20191223/daf08cfb/attachment-0001.html>