Nous avons fourni aux agents des outils de recherche natifs aux EDI : Ils ont ainsi gagn� en rapidit� et en rentabilit�

Par JetBrains

Nous avons ex�cut� les m�mes t�ches de codage avec et sans outils pr�int�gr�s, sur plusieurs mod�les et langages. Voici ce qui a chang�.


Pourquoi nous avons d�velopp� cela

Lorsque les agents codent, ils ont par d�faut recours aux outils shell. grep et find fonctionnent, mais ils ne tiennent pas compte de la structure du projet, des limites des symboles et de la s�mantique du langage. L'agent gaspille des jetons en passant au crible des r�sultats bruyants et en effectuant des appels de suivi pour affiner les r�sultats.

Nous avons donc essay� une solution �vidente : et si l'agent pouvait utiliser la recherche propre � l'EDI � la place ?

Nous avons d�velopp� une comp�tence pr�int�gr�e qui associe une invite de recherche � un outil MCP unifi�. Un outil, quatre modes : recherche de fichiers, recherche de texte, expressions r�guli�res et recherche de symboles. Un routeur universel achemine les appels vers le backend appropri�.

Outils MCP : Fonctions que l'agent appelle via un serveur MCP pendant l'ex�cution d'une t�che. Les outils natifs de l'EDI peuvent exploiter des index, des AST et des mod�les de projet que les outils shell ne peuvent pas voir.

Comp�tences : Comportements d'agent packag�s : une invite associ�e � une logique d'orchestration. Une comp�tence peut fonctionner de mani�re autonome, utiliser des outils ou �tre livr�e avec les outils dont elle a besoin.

Rien n'est livr� par d�faut tant que l'�valuation n'en a pas donn� l'autorisation. Nous avons test� quatre configurations diff�rentes de cet ensemble d'outils avant d'en choisir une.

M�thodologie

Le pipeline d'�valuation lance un serveur MCP parall�lement � l'EDI afin que l'agent ait acc�s aux outils et comp�tences configur�s. Nous ex�cutons des t�ches de codage identiques avec et sans outils, puis nous comparons les r�sultats � l'aide d'une analyse delta par paires.

Nous suivons quatre indicateurs : la qualit�, la latence, le co�t et la discipline budg�taire. La qualit� consiste � v�rifier si tous les tests ont �t� r�ussis. La latence suit le temps m�dian et le temps P95 des t�ches. Le co�t convertit la consommation de jetons en dollars. La discipline budg�taire suit la fr�quence � laquelle une t�che individuelle d�passe le plafond budg�taire de 0,50 USD.

Nous ne signalons les deltas d'am�lioration que lorsqu'ils d�passent notre seuil de signification : p < 0,05, test appari� avec des intervalles de confiance � 95 %. Les m�triques ne pr�sentant pas de changement significatif sont soit omises des graphiques, soit signal�es explicitement. Nous avons test� quatre variantes de configuration, s�lectionn� celle offrant le meilleur compromis entre latence et co�t, puis l'avons r�ex�cut�e sur diff�rents mod�les et langages pour v�rifier la validit� des r�sultats.


R�sultats

La configuration s�lectionn�e comprenait une comp�tence de recherche pr�int�gr�e, ainsi qu'un outil natif de l'EDI unifi� et un routeur universel. Par rapport � la r�f�rence sans outil, elle a r�duit la latence et le co�t sans entra�ner de changement statistiquement significatif en termes de qualit�.


Explorateur de configuration

Nous avons test� quatre configurations d'outils avant de choisir la configuration finale. Une latence plus faible et un co�t total plus bas sont pr�f�rables, c'est pourquoi le coin inf�rieur gauche du graphique est la cible.


Validation inter-mod�les

Nous avons r�ex�cut� l'exp�rience avec GPT 5.4 sur des bases de code Java et Kotlin. La tendance se confirme : la latence et le co�t diminuent tous deux. C'est Kotlin qui a enregistr� la plus forte am�lioration en termes de co�t, avec une baisse du co�t total de 13,48 %.


Comment les mod�les adoptent les outils

Codex envoie 91 % de ses requ�tes de recherche via le nouvel outil natif de l'EDI. Claude est un cas � part : Opus l'utilise pour environ la moiti� de ses recherches, et Haiku seulement 28 %, pr�f�rant plut�t grep et find.

Cela est logique. Claude dispose d�j� d�une puissante fonctionnalit� de recherche de code int�gr�e, il s�appuie donc sur ce qu�il conna�t. Ce n�est pas le cas de Codex, qui utilise donc le meilleur outil lorsqu�il est disponible. Conclusion : les outils pr�int�gr�s comblent les lacunes. Lorsque le mod�le dispose d�j� d�une bonne fonctionnalit� de recherche, l�apport est moindre. Lorsque la recherche est faible, cela fait une r�elle diff�rence.


Prochaines �tapes

Le pipeline d��valuation fonctionne. Nous l�utilisons d�sormais.

Nous allons ensuite mener la m�me exp�rience sur des mod�les plus petits. Nous pensons qu�ils en tireront encore plus de b�n�fices, car ils disposent de moins de capacit�s de recherche int�gr�es sur lesquelles s�appuyer.

Les r�sultats actuels sont les plus probants sur Java et Kotlin. Nous �tendons nos tests � Python, .NET et TypeScript avec des �chantillons plus importants.

Parall�lement, la configuration gagnante est en cours de pr�paration pour le serveur MCP int�gr� � IntelliJ IDEA, afin que les sessions d'agent puissent utiliser les outils natifs de l'EDI lorsque le serveur est activ�.

La prochaine �tape consiste � activer cette fonctionnalit� par d�faut dans les prochaines mises � jour du plugin AI Assistant.

Vous souhaitez l'essayer avant son d�ploiement par d�faut ?

1. D�finissez ces cl�s de registre sur true : llm.chat.agent.codex.mcp.idea, llm.chat.agent.skills.settings.enabled et llm.agents.contrib.bundled.skills.sync.enabled.

2. Dans l'Assistant IA, choisissez Codex pour obtenir les meilleurs r�sultats.

3. Demandez � l'agent de rechercher quelque chose dans le projet en cours.

Mesurez d'abord, d�ployez ensuite, continuez � mesurer apr�s. C'est toute l'approche.

Voir les solutions d'IA de JetBrains