Jul 23th through 29th

機械学習に関する網羅的な国際学術会議として注目されるICML(International Conference on Machine Learning)。今年は7月23日から29日にハワイで開催され、横河デジタル株式会社からAIスペシャリストの星野知也が参加。鹿子木宏明は日本からオンラインで聴講。ICML会場の雰囲気を始め、機械学習に関連する最新の研究成果やその動向などを、現地とオンラインのハイブリッドで2回にわたりレポートします。

Hiroaki Kanokogi
横河デジタル株式会社代表取締役社長。強化学習AIの開発者。今回は日本から無念のオンライン参加。

今年のICMLは諸事情により急遽渡航を取りやめ、オンラインでの聴講となりました。ある意味日本で腰を据えて聴講できたわけですが、そこで特に気になったAIの最新動向等についてご紹介したいと思います。特徴としては、ChatGPTに代表されるLLM(Large Lang-uage Model)の話題が重点的に取り扱われていました。
“Reinforcement Learning from Human Feedback”のチュートリアルではSuperficial Alignment Hypothesisという仮説が紹介されていました。それは「LLMは何でも知っている、あとは(筆者注:人間と対話するときの)フォーマットを教えてあげるだけだ」という仮説ですが、言いえて妙だと思いました。ChatGPTは2つの言語モデルの組み合わせであり、1つは大規模言語モデル、もう1つは人間に伝えるための表現に特化した(LLMに比べると小規模の)言語モデルです。ただ、これらの2つの言語モデルは独立して存在するわけではなくて、人間のフィードバックに対して過学習(OverFitting)になりやすい後者の小規模言語モデルを、前者のLLMがコントロールしながら学習を進めていくというやり方は、LLMの強みを生かしているなと感心します。
過学習の例に対しては、招待講演“Proxy objectives in reinforcement learning from human feedback”でOpenAIのJohn Schulmanさんが詳しく話されていたのが印象的でした。

人間の模範解答を(小規模)言語モデルにそのまま反映させると、リスクヘッジをするような答えばっかりになる、たとえば「僕はAIだから正確なことはわからないけど」のような枕詞をやたらと使うようになったり、わからないと謝ってばかりのAIになりうるようです。そこをLLMの強力な背景情報を使って、過度に消極的な表現にならないようにバランスしているようです。
また、招待講演の最後のQ&Aのセッションでは「なぜ(小規模)言語モデルには自己教師あり学習等ではなくて強化学習を使ったのか?」という質問が出ていました。私も興味津々で聞いていましたが、Johnさんの答えは「実は……いろいろやってみたんだけど、強化学習が一番良かったから(笑)」でした。AIは新しい分野なので、正解を見通して進めることが難しい局面は多くあります。いろいろな手法を試して成功した結果が、昨今の成果を作っているといえます。YOKOGAWAの制御AI FKDPPの誕生も似たような経緯でしたので、大変共感できる返答でした。
次回は後半戦のメインカンファレンス、ワークショップの内容を中心にご紹介したいと思います。

Tomoya Hoshino
横河デジタル株式会社DXサービス事業部AIサービスビジネス開拓部、リードAIスペシャリスト。2019年以来、ICMLには4年ぶりの参加。

ICMLはAIの権威ある国際会議の1つです。高まる期待感の一方で、現地では何を重点的に見ようかと悩みます。何しろ発表される論文に限ってもメイン会議だけで1400本以上あり、著者数は6000名以上という規模。渡航前に見るべきもののおおよその目星をつけるという準備が欠かせません。
会場はアラモアナショッピングセンター近くのハワイ・コンベンション・センター。その大きな建物の1階と3、4階の3フロアを使って開催されました。事前の参加登録者は約8000人で、そのうちの4割が学生。国別の参加登録者数を見ると、多い順に米国、韓国、英国、中国、カナダで、日本は7番目でした。米国や中国からの参加者が多いのは順当というか予想されていましたが、韓国が2番目に多いことは驚きでした。
ICMLは7日間の日程で、今年も例年同様、エキスポ1日、チュートリアル1日、メイン会議3日、ワークショップ2日という順番と構成で行われました。私は毎日7時に起床して朝食を摂り、8時に会場に入ると19時頃まで入り浸り、多い日は6つのセッションに参加しました。セッションはすべて英語で行われますが、スピーチがリアルタイムでスクリーンに文字表示されたため、より内容が理解しやすくなったのは良かったです。初日のエキスポ会場を見て回ると、AIに注力し、莫大な投資を行っているGoogleやApple、Amazon、Microsoftのブースがひときわ大きく目立っていました。その他、Citadel、Jane Street、DE Shaw & Coなど金融系企業も目立っていました。金融系企業でもAIの活用が進んでいるのだと思います。その一方で、製造業はほとんど見かけません。日本からスポンサー出店していたのはソニーと弊社(横河デジタル)の2社だけでした。
2日目のチュートリアルはそれぞれ2時間のセッション。例年通り3つの講演が同時に進行するパラレル・セッションの形式で、合計9つの講演が行われました。今年はヒューマン・フィードバックによる強化学習、最適輸送、自己教師あり学習などのチュートリアル講演が行われ、私は楽しみにしていた最適輸送の講演を聴講。チュートリアルは基礎的な技術と、それがどのように最先端につながっているかを勉強できるとても有意義な機会です。このような機会はめったにありませんから、全体像を把握できたという点を含めても、とても充実した一日でした。