[Most-ai-contest] 關於multi-span extractions 說明

[闍怵羅]

大家好，今日下午都在飛機上，無法即時回答問題非常抱歉

Multi-span的列舉題
現階段就是採取非常手段的做法
就是single-span採取topk
K從問題來提取

所以在問題表示 那些？ 什麼？的情況下
我也沒辦法有效評估 到底要取幾個

現在效能低落的原因還包含
他答案是不統一性的
像是
預測答案民主與經濟
答案可能會寫
「民主」與「經濟」
或是答案 預測的順序相反
我預測A、B與C
 答案是B、C與A
甚至有一題
預測跟文本寫銅鋁
答案是銅與鋁

還有我自己在跑全部FGC data的時候
並沒有發生過error exception 等情況

再來 multi-span只有所謂的accuracy
沒有所謂的F1
如果從F1的觀點來說
多數 要列舉並有給定數量的題目
也有抓到期中是答案的2-3個
但是在真正整個列舉的時候
少一個即為錯
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20191223/4c7aadd1/attachment.html>