TokenOps : pourquoi un agent à 40 tours coûte 16×, et pas 4×

Une tâche que votre agent termine en 10 tours vous coûte 1×. Laissez-le tourner 40 tours et vous vous attendriez à 4×. C’est 16×. Chaque tour renvoie le contexte accumulé par les tours précédents, donc le coût de l’entrée hors cache croît avec le carré du nombre de tours, pas en ligne droite. La parade consiste à concevoir le contexte pour que l’essentiel soit lu depuis le cache, à un dixième du prix.

C’est ainsi que s’ouvre TokenOps, un talk de quatre minutes de Gareth Bland, chief data scientist chez Microsoft Frontier Company. Il définit TokenOps comme la data science qui permet à une entreprise de continuer à décider où doivent aller ses tokens : là où ils font le plus bouger les lignes. Un talk court, trois idées à garder.

La grille tarifaire

Les fournisseurs de modèles ne facturent pas un prix unique par token. En prenant vos messages en entrée comme base 1×, voici l’échelle qu’il a montrée :

Token	Coût	Ce que c’est
Sortie	5×	Là où se fait le raisonnement, ce qu’un agent fait de plus utile
Entrée de base	1×	Les messages que vous envoyez
Écriture en cache	en plus	Payée quand la boucle écrit du contexte dans le cache
Entrée en cache	0,1×	Le contexte relu depuis le cache

La partie chère est donc aussi la partie précieuse : le raisonnement, c’est de la sortie. Ce que vous contrôlez, c’est la part de l’entrée servie par le cache.

Sortielà où se fait le raisonnement
5×
Entrée de baseles messages que vous envoyez
1×
Écriture en cachepayée quand la boucle écrit dans le cache
en plus
Entrée en cacherelue depuis le cache
0,1×

Ce que vous contrôlezLa part de l’entrée qui vient du cache.

L’échelle de prix qu’il a montrée, avec vos messages en entrée comme base 1×. Sortie, entrée de base et entrée en cache sont à l’échelle. Le talk ne donne pas de multiplicateur pour les écritures en cache : cette barre est seulement indiquée, pas mesurée.

Les boucles rendent le coût quadratique

Les agents ne répondent plus en une seule passe. Ils procèdent par tours : agir, regarder le résultat, raisonner, agir encore. Chaque tour transporte tout ce qui l’a précédé.

Tours	Ce que vous prévoyez	Ce que coûte vraiment l’entrée hors cache
10	1×	1×
40	4×	16×

Quatre fois plus de tours, seize fois plus cher. L’ingénierie de contexte sert à faire redescendre cette courbe : gardez la partie stable du contexte en tête et inchangée, pour que le fournisseur puisse la servir depuis le cache à 0,1×.

Ce que vous prévoyez

4×

Quatre fois plus de tours

Chaque tranche de 10 tours coûte pareil

contre

Coût réel de l’entrée hors cache

16×

Chaque tour relit tout ce qui le précède

Quatre fois plus de tours, seize fois plus cher

La paradeGardez la partie stable du contexte en tête et inchangée, pour qu’elle soit lue depuis le cache à 0,1×.

À l’échelle, tours 0 à 40 de gauche à droite. La hauteur à chaque tour est le contexte qu’il renvoie, donc l’aire est ce que vous payez en entrée hors cache. Le triangle encré correspond aux 10 premiers tours, 1×. Quarante tours en valent seize, pas quatre.

Les tokens ont-ils rapporté quelque chose ?

Le coût seul ne dit pas si la dépense en valait la peine. Bland note le travail des agents avec un score d’efficacité agentique fait de trois ratios, à lire comme un entonnoir, de tout le travail qu’un agent entame jusqu’à ce que ressentent les utilisateurs :

Achèvement autonome

Le travail terminé sans échec ni intervention humaine.

Mergé en production

Efficacité des tokens

Du travail terminé, ce qui a vraiment été livré.

Au service des utilisateurs

Création de valeur

De ce qui a été livré, ce qui a fait bouger les lignes.

Le troisième ratio, aucun tableau de bord de tokens ne peut vous le donner. Mon propre Meterlex chiffre chaque appel de modèle à partir des logs de session, ce qui couvre le côté coût. Il ne peut pas me dire si le travail d’une session a été mergé, encore moins si quelqu’un s’en est servi. Pour ça, il faut des données du dépôt et du produit, pas du fournisseur de modèles.

La courbe en S : quand arrêter de dépenser

La dernière idée porte sur la position d’un produit. Les fonctionnalités rapportent selon une courbe en S, et Bland nomme trois zones :

Zone 1

Sous-investissement

Pas encore assez de fonctionnalités pour un MVP ou un pilote.

Seuil

Zone 2

Effet de levier

Chaque nouvelle fonctionnalité ou amélioration rapporte de la valeur aux utilisateurs.

Saturation

Zone 3

Surqualité

Peaufiner l’existant, ajouter ce que personne n’a demandé.

Avec les agents, entrer en zone 3 ne coûte presque rien. Quand une fonctionnalité coûte un prompt au lieu d’un sprint, rien ne vous empêche de tomber dans la surqualité (le gold plating), si ce n’est de savoir où vous en êtes sur la courbe. C’est sa conclusion : en ingénierie agentique, ce qui compte le plus, c’est de savoir où se situe votre équipe, ou votre prochaine fonctionnalité, sur la courbe en S.

Ce que j’en retiens

Mesurez la courbe, pas la facture. Un total mensuel cache la partie quadratique. Le nombre de tours par tâche et la part de l’entrée servie par le cache disent où part l’argent.
Le coût est le haut de l’entonnoir. La dépense en tokens n’a de sens que rapportée à la part du travail mergée et à la part que les utilisateurs ont ressentie.
Dépensez là où la courbe est raide. Le token le moins cher est celui que vous ne dépensez pas en surqualité.

1Mesurer la courbe

Les tours par tâche et la part de l’entrée en cache, pas la facture du mois
2Le coût est en haut

Il n’a de sens que rapporté à ce qui est mergé et à ce que ressentent les utilisateurs
3Dépenser où ça monte

Le token le moins cher est celui que vous ne dépensez pas en surqualité

Ce que je surveillerais après ce talk : la forme du coût, l’entonnoir en dessous, et la position d’une fonctionnalité sur la courbe en S. Le haut en pointillés de la dernière courbe, c’est la surqualité.

Texte brut: tokenops-agent-cost-curve.md · Flux Atom · Toutes les notes