ChatGPTのアプリ連携お試し中→そろそろ限界

先週からChatGPTのアプリ連携を試しています。とあるシミュレータ（部分的な類似コードはありそうだけど調べてない）作成が必要になったので、使い勝手検証するついでにゼロから作成中。

最初に全体像と最終目標をドキュメント化した上で、シミュレーション・シナリオをレベル1、2，3，、、と少しずつ条件追加していく形で込み入った条件を追加していく形でのトライしてみました。触感としては以下のような感じ。

• ChatGPT o3の場合
  • ファイル数10前後、コード1500行ぐらいまでは全体把握してそう。
  • ファイル数20、コード2000行超えるぐらいだとうまくはあできない？　一度把握できなくなると指示と違うことをやり出す（分析指示に倒してありもしないエラー文に対する修正コード提案してきたりする）。
• 4oの場合（4o-mini-highも試したけどあまり変わらない印象）
  • 簡単に直前の文脈を失念する。
  • 可能な限り「やろうとしていること、現状、問題点、修正方向」みたいなことを実行ログ含めて渡すと、ある程度機能する。
  • とはいえ、「あるエラーに対するdebagu指示→場当たり的提案（本質的じゃない変更）→別エラーに対するdebug指示→一つ前の変更削除するだけの提案」みたいになってループすることもしばしば。

ファイル数やコード行数はそのときの概算を書いているだけです。これら以外に大量のやりとりがあるため、それらをどこまでキャッシュ化利用しているか次第で大分変わる数字だと思います。一度文脈把握できなくなったら「プロジェクト全体を1ファイルにまとめたmarkdown」みたいなの作って、まっさらなキャンパス作ってやり直せばかなり機能改善するかも。

とはいえ「ChatGPTのアプリ連携の場合」には、一度に参照できるファイル数が直接的には1つ（追加アップロードで最大10まで）で、コード編集は1ファイル単位でしか対応していないことを考えると、何かやろうとする都度「コード修正は一旦保留しておき、まずは修正が必要なファイル一覧をリストアップしてください」みたいな指示をして、1ファイルずつ更新する形を取るのでかなり面倒。

Cursor, OpenHands みたいにAPI利用する形だとまた別かもしれません。