ACL読み回2018

ACLの読み回に参加してきました.

感想を三行でまとめると

  • NLP界隈の常識がわかる
  • 発表者の疑問がわかる
  • 数式はお気持ち

NLP界隈の常識がわかる

一人でやっているのでは伝わらない当たり前の知識が伝わるのがとてもよかったです. Seq2Seq + Attentionがデファクトスタンダードだけれど、 - 未知語が対処できない - 同じものが複数回生成される という課題があり,それらにどう対応するかが考えられている.

とはいえ、ネットワークを劇的に改善させるというよりは - ドキュメントっぽさ.前の文章の情報を加える. - 意味っぽい情報を加える

というのが基本で、劇的に新しい手法はなさそう.Transofomerも出てきたけど、あまりそれを使っていない模様.

相変わらずデータが重要で、分散表現等を工夫する余地はまだまだあるのだなという風に感じた.

自分がよく知らないけど、当たり前っぽい用語がたくさん出てきたのもよい. 文章要約のROUGEは自分はまだあまりなじみがないけれど、覚えておくべきだと思ったし,NLPの人と関わりの薄い自分からすると,聞いたことがあるという感覚自体に意味があると思った次第です。

発表者の疑問がわかる

何故ここで検証していないのか,解釈できない.そもそもこれは悪手なのではという点を説明していて,それを適切に議論できるのはとてもよい.

特に一番最後のベストペーパーについての解説が, これ課題に対応していないからおかしくないか?やこの課題の正答率低すぎないか?に対していろいろ見解を述べていて,そこにはアイデアが新規である分,完成度の低さを感じれたし.やっぱりお気持ちだから曖昧になるのだなと思うこともわかった.

数式はお気持ち

皆思い思いに絵をかいたり数式を書いてるけど、どう考えてもその辺に対して曖昧さがあるなあと思うなど.

なんというか、私は数学的なものは数学的なレイヤーで思考できるので、その観点で問題ないかや何を意味しているかをチェックするのだけれど,皆その辺は何もしていないのだろうなと思った.

「微分できない」、何から何の関数だと思ったときに〇〇だから微分できないって思うの20秒もかからないと思うのだけれど、そういうのは説明されないし,気にならないし、気にしていないのだろうなあ。 実際実装はそれらのお気持ちを反映してNNで数式ときちんと対応しているのかもきわどいところなので.

逆に言うと,皆機械学習ですらなく自然言語処理のレイヤーで思考していた. 具体的には言語の処理固有の課題を見つけ,それに対応する何かを加えるというアイデアが基本で,適当に実装してみて一番よかったのをみると、こんな感じという主張にも見えた.

その辺実際どの程度理解しているのか突っ込んで聞いてみたくも思ったけど、今回はまだまだ知らない人ばっかりだったので、諦めた.

理解の仕方の違いでもあるので、質問しまくっても問題ない人を見つけてどう理解しているのかどうしてもそこは問題ないと思うのかを徹底的に議論したいなあと思うなど.

具体的な話

資料はここ

今日聞いていても一番思ったのはこれ

論文に対して自分の感想を書く程でもなく 資料によく書かれていると思ったので、今回は割愛します。

発表してくださった方々、企画してくださった方々ありがとうございました。

// コードブロック