日時：2024年6月12日(水)18:30～20:30
場所：(大阪)日本弁理士会関西会 & (東京)前川知的財産事務所会議室（日比谷公園内市政会館５階） & オンライン（ZOOM）
題目： 定例会合　（トピック、ワークショップ,etc.）
概要：
　冒頭のトピックスパートでは毎回最新の生成AI関連ニュースについてご紹介します。
　また、会合の本編では、生成AIを用いたワークショップを行う予定です。今回は「LLM-as-a-Judge」について考えたいと思います。LLM-as-a-Judgeは、大規模言語モデル（LLM）を用いて、何かを自動評価しようという考え方です。従来の定性的な評価指標では捉えきれなかった言語の意味や文脈を理解し、定量的に評価をすることに意味があります。評価の自動化により、時間とコストを大幅に削減できるほか、評価基準の統一や、人間の主観に左右されない客観的な評価が可能になります。ただし、LLMの判断は完璧ではなく、評価結果はあくまで人間が判断するための補助的資料として用いられるべきで、今後の研究開発が期待されます。LLM-as-Judgeの考え方は、特許クレームの品質管理や、特許出願の審査シミュレーションなど、様々な場面で活用が期待されます。さらに、この考え方は特許分野に限らず、契約書のレビューや、文章の品質評価など、幅広い分野への応用が可能と考えられます。
（参考：生成AIによる自動評価（LLM-as-a-Judge）のメリットと最新手法をご紹介)
https://www.brainpad.co.jp/doors/contents/01_llm_as_a_judge/
　参加される方は可能な限り事前に以下の宿題を考えて頂き、リアルで参加される方はメールで送っていただくか、オンラインの方はその場でチャットに入力できるようにご準備頂けると助かります。
＜問１：クレーム生成プロンプト問題＞
　任意に選択された公開済み既知の日本出願を１つ選択して明細書テキストを付加することで、明細書テキストに対応した適切な特許請求の範囲（独立項３以内、全請求項数５以内）をAIが生成できるようにするプロンプトを256字以内（明細書テキストを除く）で作成してください。
＜問２：評価系プロンプト問題＞
　上記で生成された特許請求の範囲を何らかの観点で定量的にAIに評価させるためのプロンプトを、256字以内（特許請求の範囲テキストを除く）で作成してください。
これまでの開催実績を踏まえ、時間配分を少しずつ変えております。皆様にとって有意義な定例会合になるよう、プログラムの改善に努めてまいりますので、今後ともご参加賜りますようお願い申し上げます。

アジェンダ：
18:30～18:55 トピック
19:00～20:25 生成AIワークショップ
(19:00～20:25 内で、５月積み残し分があればその消化)
　　　　　　　
（砥綿 洋佑 記）