[Most-ai-contest] 關於multi-span extractions 說明

[闍怵羅]

從related content 去推出要幾個答案的做法

就是針對
不指定數量的一種general method
會往這邊ㄗㄞㄑㄝ思考看看
謝謝

kysu <kysu at iis.sinica.edu.tw> 於 2019年12月23日 週一 20:26 寫道：

> The way to decide K based on the question seems strange. I think it should
> be judged based on the related content.
>
>
>
> KY
>
>
>
> *From:* most-ai-contest-bounces at iis.sinica.edu.tw [mailto:
> most-ai-contest-bounces at iis.sinica.edu.tw] *On Behalf Of *闍怵羅
> *Sent:* Monday, December 23, 2019 7:20 PM
> *To:* Most-ai-contest at iis.sinica.edu.tw
> *Subject:* [Most-ai-contest] 關於multi-span extractions 說明
>
>
>
> 大家好，今日下午都在飛機上，無法即時回答問題非常抱歉
>
>
>
> Multi-span的列舉題
>
> 現階段就是採取非常手段的做法
>
> 就是single-span採取topk
>
> K從問題來提取
>
>
>
> 所以在問題表示 那些？ 什麼？的情況下
>
> 我也沒辦法有效評估 到底要取幾個
>
>
>
> 現在效能低落的原因還包含
>
> 他答案是不統一性的
>
> 像是
>
> 預測答案民主與經濟
>
> 答案可能會寫
>
> 「民主」與「經濟」
>
> 或是答案 預測的順序相反
>
> 我預測A、B與C
>
>  答案是B、C與A
>
> 甚至有一題
>
> 預測跟文本寫銅鋁
>
> 答案是銅與鋁
>
>
>
> 還有我自己在跑全部FGC data的時候
>
> 並沒有發生過error exception 等情況
>
>
>
> 再來 multi-span只有所謂的accuracy
>
> 沒有所謂的F1
>
> 如果從F1的觀點來說
>
> 多數 要列舉並有給定數量的題目
>
> 也有抓到期中是答案的2-3個
>
> 但是在真正整個列舉的時候
>
> 少一個即為錯
>
>
>
>
>
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.iis.sinica.edu.tw/pipermail/most-ai-contest/attachments/20191223/24837d19/attachment.html>