(NLP2024) 2日目

Mar 12, 2024 日記 学会
Share on:

キッチンカー襲来

2日目、一般セッションは今日から開始。お昼はキッチンカーが複数来てくれててお手軽。

屋比久さん（C1-5）と當間（B1-3）が同じ時間帯での発表になるため、双方独立発表することに。こんなこともあるよね。自分発表無いならセッション途中で抜けることもあるけど、今回は「がんばれ！」と応援するだけに留めました。

私は狩俣先生等との共同研究（日琉翻訳モデル構築）開始に向けた事前準備的な発表をしてきました。前後の発表で用いているコーパス規模と数桁違う（私のは訳200件）こともあり激烈にスコアが低いんですが、それも込みでこれからやるに向けての問題洗い出しをしているという発表をしてきました。私自身懸念している「教育用途ならゴールが翻訳でいいのか問題」は会場でも指摘されました。セッション後に貰ったコメントによると、書き言葉が存在せず音声のみの言語で取り組んでる事例があるらしく、そこでは音声認識＆音声合成してるらしい。音声含めるとやっぱり用途が増えやすいのでそっちまで目指したいところだ。とか思ってたら、遠藤研卒業生が名前見かけて発表聞きに来てたらしい。

打ち上げタイミングで屋比久さんの話聞いてみた感じ、自身の成長を実感できるぐらいにはやり取りできた模様。良き良き。ポスターセッションに参加できてなかったようなので後押し。

打ち上げ

以下は気になった発表メモ。

  • B1-1 用語制約が多い翻訳に対する手法の提案
    • 先行研究：訳語追加による入力拡張
      • 直接埋め込む形でもうまく処理してくれるのか
    • 大半（今回のデータだと87%）が準拠しない訳を含むため、そのままでは効果薄い => 準拠率の導入
    • 閾値100では駄目。原文少なくなるし、似た原文が多くなる。
  • B1-3 日本語→琉球諸語翻訳モデルの構築に向けて（當間）
    • 日本語表記になっているため、日韓、英韓とか日本語を含まないケースでも試してみては。
      • そうだよね。
    • 琉球諸語に翻訳する力を持つ人材を育成するとか、育成のためには別のことが必要になりそうだが何か考えていることはあるか？
      • 書き言葉がない言語で、音声認識・音声合成で取り組んでて教育用途にも繋げやすくなるという話があるらしい。
  • B1-5 多言語モデルを用いた日英対訳文集合のフィルタリング手法の分析
    • フィルタリングしたい状況よくあるよな、、
  • B2-4 対訳データを用いた継続事前訓練による大規模言語モデルの翻訳精度評価
    • 継続事前学習 ＞ SFT
    • ただし現言語と目的言語が交互に出現するデータでやること。
    • うーん、特定タスクのことを継続学習でやる方が効果高いというのは微妙に納得し難いのだけど、悪影響ないのかな。
  • B2-5 ニューラル機械翻訳モデルにおける構成的汎化能力の評価
    • COGS: 語彙的汎化と構造的汎化を評価対象としたデータセット
    • 生成文という出力から評価することそのもの限界な気がする、、
  • E3-4 長距離相互作用する文脈依存言語における相転移現象 -言語モデルの創発現象を統計力学の視点で理解する-
    • シミュレーションベースの創発現象理解に迫ろうとする話。
  • E3-5 BERTはどのように逆接の談話関係を判定しているか─Attentionと品詞を手がかりとして─
    • ある程度精度高いタスクであることを前提に、その際のアテンション観察で要因分析してみようという話。
  • E3-6 神経科学に着想を得たシナプス刈り込みによる大規模言語モデルの原理解明
    • やってみたいことやってるな！！
    • どのような破壊方法がどのような影響及ぼすかというアプローチ。
  • P3-3 事故事例文章構造化システムの構築
    • 学内トラブルシューティングに対してちゃんと取り組むならこういうことしないとなぁ。データ蓄積の仕方含めて。
  • P3-6 マッチング数制約下でのアノテーション検証割り当ての自動化
    • 気持ちは分かるけど、全く違う観点での保証を導入する方が建設的な気がする。具体的なアイデアはないが、、
  • P4-6 多言語評価極性判定における文法・語彙知識と生成モデルの統合
    • シンプルだけど外部知識をうまくLLMに導入してる例。
  • P5-7 大規模言語モデルを用いたEmotional Support Conversation システムの構築とその評価
    • カウンセリングのような専門家相談の手前、家族や友人と相談するような位置づけを狙っているっぽい。けど評価の仕方がカウンセリングに近い印象で、中長期的な付き合いを通した検証が必要な気がする。
  • P5-15 語り直しを目的とした大規模言語モデルを用いた Story Intention Graph の作成とその評価
    • ストーリーをSIGと呼ばれるグラフ構造で表現することを前提とした話。
  • P5-28💻 対話の齟齬と介入による解消：LLM を用いた検討
    • パーソナリティ障害みたいなところにうまいこと介入支援してくれると良さげ。