現代機械学習の学習記録 #4

仕事にAIを持ち込むにあたって、パッと思いつくのが

• 既存のコードを解析して文脈とか専門用語を学習する
• その学習内容を使って質問に答える
• 文字情報じゃなくて図で可視化する
  • ここは正確だったりすべての要素を含まなくていい、ヒント・とっかかりとしてエンジニアがコードを読む助けになってくれればいい。

要素を調べてみよう。

コードの解析・学習

会社のコードを学習させるので、まぁいったんBedrockやろなぁ

微調整と事前トレーニングの継続を使用して、独自のデータで Amazon Bedrock のモデルをカスタマイズする | Amazon Web Services ブログ

手動で試してないけど、ソースコードをべた覚えさせるのは、絶対モデルが壊れる気がする・・・質問の解釈と回答はファジーでいいけど、コード内の構造は正確に把握されるべきなきがする。

というわけで、コードの構造解析はLanguage Serverにさせるのはどうだろうか

Official page for Language Server Protocol (microsoft.github.io)

よく読むと、どちらかというとLSIFのほうがエディタによらない構造解析に使えそう

Overview (microsoft.github.io)

ぽいきはするけど、この辺は具体的に触る必要がありそう。

いちおう、べたにソースコードを覚えさせるようなモデルがあるのか探してみる。