注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

AI FDE を使用する際のベストプラクティス

システムの整合性を維持し、結果を最適化しながら AI FDE(Forward Deployed Engineer)を効果的に活用するために、次のベストプラクティスを確認してください。

リソースと手順を検証する

生成されたリソースは、本番環境に導入する前に必ず検証してください。この検証プロセスには、生成されたすべてのコードの正確性と組織の標準への準拠を確認する作業を含める必要があります。

代表的なサンプルデータで変換ロジックをテストし、さまざまな条件下で期待どおりに動作することを確認します。AI FDE はデフォルトでブランチ上で変更を行い、レビュー用に Global Branch の提案またはコードリポジトリのプルリクエストとして変更を提案します。

使用するツールやその設定によっては、AI FDE が操作を実行する前にツールの承認を求めることがあります。承認する前に、モデルが実行しようとしている操作を理解し、使用するツールを確認してください。

ツールとコンテキストを制限する

モデルには、特定のタスクに不可欠なコンテキストとツールのみを与えることを推奨します。不要なコンテキストやツールを与えると、最適でない操作や誤った操作につながる可能性があります。利用可能なツールを特定のタスクに必要なものだけに制限し、関連性が最も高いコンテキストだけを含めることで、混乱やエラーの可能性を減らせます。ツールとコンテキストを制限すると、AI FDE の効率と精度を向上できるだけでなく、機密性の高い操作や情報へのアクセスを最小限に抑えることで、セキュリティも強化できます。

問題を分解し、反復的に開発する

複雑な操作は、管理しやすい小さなステップに分解する必要があります。基本的な構造から始め、各コンポーネントの検証が済むにつれて、段階的に複雑さを加えていくことを推奨します。

AI FDE は迅速なプロトタイピングに特に効果的で、異なるアプローチをすばやく探索できます。本番環境に適した品質の実装には、AI が生成した基盤と、微調整や最適化のための手動開発を組み合わせます。

AIP Evals でパフォーマンスを追跡する

AIP Evals を使用して、AI FDE が作成または変更した関数のパフォーマンスを評価し、追跡します。LLM を利用する関数の評価スイートを作成すると、変更の影響を経時的に測定し、異なるアプローチを比較できます。これは、AI FDE を使用して関数を反復的に開発する場合に特に有用です。変更によってパフォーマンスが向上したか低下したかについて、定量的なフィードバックを得られます。

インフラストラクチャの制約を考慮する

AI FDE を使用する際は、人間の開発者との操作パターンの違いを認識することが重要です。人間の開発者は通常、一度に1つの操作を行い、操作の合間に考えたり休憩を取ったりしますが、AI FDE は各操作の間隔がわずか数秒という速さで、操作を次々に実行できます。そのため、数分で数十回の操作が実行され、タスクが完了するまで継続的に動作することがあります。複数の AI FDE セッションが並列で動作すると、インフラストラクチャ全体への影響がさらに大きくなる可能性があります。これにより、人間がゆっくりと順次操作するペースでは対処できていたインフラストラクチャのボトルネックが顕在化する可能性があります。

次の領域を慎重に検討してください。

  • ストレージの読み取り/書き込み
  • コンピューティングリソース、特に GPU
  • ストレージ容量

AI FDE の使用には、高頻度の並列操作、持続的な計算負荷、ネットワークアクティビティの増加、ストレージ需要の拡大に対応できるインフラストラクチャが必要になる場合があります。