1
00:00:00,040 --> 00:00:03,200
0 au compteur, des problèmes 
résolus puis le même modèle 

2
00:00:03,200 --> 00:00:06,680
réussi sans réentraînement selon
une prépublication sur la 

3
00:00:06,680 --> 00:00:09,160
génération longue. 
Seul le filtre de tirage a 

4
00:00:09,160 --> 00:00:12,240
changé dans ce test de code. 
Pourquoi aurait-on commencé par 

5
00:00:12,240 --> 00:00:16,160
remplacer le modèle ? 
Épisode agent IA et génération 

6
00:00:16,160 --> 00:00:20,680
longue, le piège caché du 
simpling chapitre un, le filtre 

7
00:00:20,680 --> 00:00:24,040
sur le banc des accusés, le 
moteur reste en place, une 

8
00:00:24,240 --> 00:00:28,280
petite pièce change le résultat.
Imaginez le tableau de résultats

9
00:00:28,280 --> 00:00:31,840
sur l'écran d'une équipe de 
recherche d'un côté, des zéros, 

10
00:00:32,159 --> 00:00:34,600
de l'autre, des dizaines de 
problèmes résolus. 

11
00:00:35,080 --> 00:00:37,800
Pourtant, le réseau de neurones 
n'a pas été réentraîné. 

12
00:00:38,240 --> 00:00:41,680
C'est le paradoxe rapporté dans 
la prépublication intitulé Long 

13
00:00:41,680 --> 00:00:45,040
Context, Generation is a 
sampling problem, consacré à la 

14
00:00:45,040 --> 00:00:48,480
génération à haute température. 
Son résultat spectaculaire ne 

15
00:00:48,480 --> 00:00:50,440
prouve pas qu'un modèle résonne 
sans limite. 

16
00:00:50,760 --> 00:00:52,840
Il l'oblige à déplacer le 
diagnostic. 

17
00:00:53,240 --> 00:00:56,200
Avant de payer pour améliorer 
les poids, il faut examiner la 

18
00:00:56,200 --> 00:00:58,600
mécanique qui transforme leur 
score en texte. 

19
00:00:58,880 --> 00:01:01,960
Dans ce travail, les auteurs 
testent des agents fondés sur 3 

20
00:01:01,960 --> 00:01:05,000
modèles. 
Quen 3.5, chaque groupe affronte

21
00:01:05,000 --> 00:01:08,440
100 problèmes de programmation à
température. 2 les agents 

22
00:01:08,440 --> 00:01:11,920
utilisant top p où top K ne 
résolvent aucun problème. 

23
00:01:12,240 --> 00:01:15,920
Top h aboutit au même échec. 
Avec top and Sigma, les 

24
00:01:15,920 --> 00:01:19,840
résultats vont de 46 à 62. 
Problèmes résolus, même famille 

25
00:01:19,840 --> 00:01:22,640
d'épreuves, même modèle. 
Le changement de filtre 

26
00:01:22,640 --> 00:01:24,840
bouleverse l'issue. 
Ce n'est pas une promesse de 

27
00:01:24,840 --> 00:01:26,920
rendement pour votre 
application, c'est un 

28
00:01:26,920 --> 00:01:29,400
avertissement sur la manière D 
attribuer un échec. 

29
00:01:29,720 --> 00:01:32,400
Quand une boucle agentique 
déraille, le résultat final 

30
00:01:32,400 --> 00:01:35,440
mélange les capacités du modèle 
et les décisions prises lors du 

31
00:01:35,440 --> 00:01:37,840
décodage. 
Accuser seulement le réseau 

32
00:01:37,840 --> 00:01:40,520
revient à remplacer un moteur 
avant d'avoir regardé son 

33
00:01:40,520 --> 00:01:43,280
alimentation. 
Pour comprendre, suivons un seul

34
00:01:43,280 --> 00:01:45,320
geste, le choix du prochain 
TOKEN. 

35
00:01:45,680 --> 00:01:48,400
La température redistribue les 
chances entre les candidats. 

36
00:01:48,760 --> 00:01:52,320
L'augmenter rend la distribution
moins concentrée, donc le tirage

37
00:01:52,320 --> 00:01:54,760
plus ouvert. 
Mais le filtre décide encore 

38
00:01:54,760 --> 00:01:56,560
quels candidats ont le droit de 
participer. 

39
00:01:56,840 --> 00:01:59,920
Avec top p, on conserve un 
ensemble dont les probabilités 

40
00:01:59,920 --> 00:02:01,600
cumulées atteignent le seuil 
choisi. 

41
00:02:01,880 --> 00:02:05,160
Si la distribution s aplatit 
avant cette coupe, beaucoup plus

42
00:02:05,160 --> 00:02:07,400
de candidats peuvent devenir 
nécessaires pour atteindre ce 

43
00:02:07,400 --> 00:02:09,759
seuil. 
Les auteurs donnent un exemple 

44
00:02:09,759 --> 00:02:13,400
avec lama 3.1 dans sa version à 
8 milliards de paramètres. 

45
00:02:13,840 --> 00:02:17,840
Le pool top p passe de 4 tokens 
à température un à 51845 à 

46
00:02:17,840 --> 00:02:19,920
température 2. 
Dans cet exemple, top and Sigma 

47
00:02:19,920 --> 00:02:22,000
garde 3 candidats aux 2 
températures. 

48
00:02:22,000 --> 00:02:25,720
L'image utile est celle d'une 
porte dont on élargit soudain 

49
00:02:25,720 --> 00:02:27,680
l'ouverture. 
Le bouton de température n'a pas

50
00:02:27,680 --> 00:02:31,000
seulement modifié les chances 
des invités déjà présents avec 

51
00:02:31,000 --> 00:02:34,120
ce filtrage, il a aussi laissé 
entrer une foule. 

52
00:02:34,120 --> 00:02:37,640
Top and Sigma lui découpe les 
scores bruts du modèle, appelés 

53
00:02:37,640 --> 00:02:40,360
logit, selon un seuil fondé sur 
leur dispersion. 

54
00:02:42,960 --> 00:02:45,280
Il borne ainsi le groupe 
admissible avant que la 

55
00:02:45,280 --> 00:02:48,040
température redistribue les 
probabilités de tirage. 

56
00:02:48,280 --> 00:02:50,880
Attention à ne pas transformer 
cette image en Explication 

57
00:02:50,880 --> 00:02:53,760
universelle. 
L'explosion observée avec top p 

58
00:02:53,760 --> 00:02:56,920
ne démontre pas pourquoi top K 
où top h échouent dans les 

59
00:02:56,920 --> 00:02:59,640
essais agentis rapportés. 
Ces méthodes ne découpent pas 

60
00:02:59,640 --> 00:03:02,920
toute la distribution de la même
façon et la stabilité du pool 

61
00:03:02,920 --> 00:03:05,840
dans cet exemple n'est pas une 
garantie générale de qualité. 

62
00:03:06,040 --> 00:03:08,760
La distinction essentielle porte
aussi sur la longueur. 

63
00:03:09,040 --> 00:03:11,960
Retrouver une information dans 
un immense contexte d'entrée 

64
00:03:11,960 --> 00:03:14,760
n'est pas la même épreuve que 
rester cohérent en produisant 

65
00:03:14,760 --> 00:03:17,720
une longue suite d'actions. 
Ici, chaque nouveau choix 

66
00:03:17,720 --> 00:03:20,120
rejoint l'historique sur lequel 
les suivants s'appuient. 

67
00:03:20,280 --> 00:03:22,960
Une bifurcation malheureuse peut
devenir le point de départ de 

68
00:03:22,960 --> 00:03:25,280
toute la suite. 
Mais si l'on resserre la porte 

69
00:03:25,280 --> 00:03:27,760
pour éviter cette dérive, 
comment savoir quelle bonne 

70
00:03:27,760 --> 00:03:32,480
piste reste dehors ? 
Chapitre 2, qui paient les 

71
00:03:32,480 --> 00:03:35,760
chemins abandonnés derrière une 
trajectoire impeccable ? 

72
00:03:35,760 --> 00:03:37,960
Une bonne idée à peut être été 
écartée. 

73
00:03:38,440 --> 00:03:41,280
Sur le bureau d'un responsable 
d'agent, la décision pourrait 

74
00:03:41,280 --> 00:03:44,360
sembler évidente, adopter le 
filtre gagnant et fermer le 

75
00:03:44,360 --> 00:03:46,440
dossier. 
Ce serait tiré de cette 

76
00:03:46,440 --> 00:03:48,640
prépublication. 
Une conclusion qu'elle ne permet

77
00:03:48,640 --> 00:03:50,640
pas. 
Les auteurs précisent qu'à la 

78
00:03:50,640 --> 00:03:53,920
température habituelle de un, la
plupart des méthodes comparées 

79
00:03:53,920 --> 00:03:56,840
donne des résultats proches. 
Le bénéfice spectaculaire 

80
00:03:56,840 --> 00:03:59,720
concerne donc une configuration 
d'exploration fortement 

81
00:03:59,720 --> 00:04:02,920
chauffée, pas une amélioration 
démontrée pour tous les usages. 

82
00:04:03,320 --> 00:04:05,720
Imaginez une recherche de 
solutions qui s'arrête devant 

83
00:04:05,720 --> 00:04:08,600
une piste inhabituelle. 
Un filtre restrictif peut 

84
00:04:08,600 --> 00:04:11,000
écarter le token peu probable 
qui aurait permis de 

85
00:04:11,000 --> 00:04:13,040
l'emprunter. 
Préserver une trajectoire 

86
00:04:13,040 --> 00:04:16,120
lisible et découvrir une voie 
originale sont des objectifs 

87
00:04:16,120 --> 00:04:18,480
distincts. 
Leur équilibre doit se mesurer 

88
00:04:18,480 --> 00:04:21,360
sur la tâche plutôt que se 
décider à partir de la seule 

89
00:04:21,360 --> 00:04:24,280
élégance du texte produit. 
L'étude fournit toutefois une 

90
00:04:24,280 --> 00:04:26,960
piste de surveillance. 
Les auteurs comparent 133 

91
00:04:26,960 --> 00:04:29,120
combinaisons de méthodes de 
tirage et de température entre 

92
00:04:29,120 --> 00:04:32,280
taille typique du poule et 
qualité de génération. 

93
00:04:32,280 --> 00:04:35,120
Ils rapportent une corrélation 
de spearman de moins 0,77. 

94
00:04:37,360 --> 00:04:40,320
Autrement dit, dans leurs 
observations, les grands poules 

95
00:04:40,320 --> 00:04:42,120
tendent à accompagner une 
qualité moindre. 

96
00:04:42,480 --> 00:04:45,560
Cette relation ne fixe aucun 
nombre magique de candidats et 

97
00:04:45,560 --> 00:04:48,400
ne prouve pas qu'en réduire le 
nombre amélioré n'importe quel 

98
00:04:48,400 --> 00:04:50,440
agent. 
Le thermomètre n'est pas une 

99
00:04:50,440 --> 00:04:53,680
ordonnance, d'autant que la 
mesure de qualité repose sur un 

100
00:04:53,680 --> 00:04:57,720
seul juge, llm sans évaluation 
humaine, les tests agentiques 

101
00:04:57,720 --> 00:05:00,200
utilisent un unique 
environnement d'exécution et les

102
00:05:00,200 --> 00:05:01,800
modèles évalués sont à poids 
ouverts. 

103
00:05:01,800 --> 00:05:04,960
On ne peut donc pas transposer 
directement ces résultats au 

104
00:05:04,960 --> 00:05:08,080
système propriétaire fermé. 
Pour une équipe, l'enjeu 

105
00:05:08,080 --> 00:05:10,680
économique commence précisément 
à cette frontière entre 

106
00:05:10,680 --> 00:05:14,120
résultats publiés sur archive et
résultats reproductibles chez 

107
00:05:14,200 --> 00:05:17,040
elle, le coût d'un échec ne se 
lit pas seulement dans la 

108
00:05:17,040 --> 00:05:19,440
facture d'entraînement. 
Une mauvaise branche peut 

109
00:05:19,440 --> 00:05:22,120
prolonger l'exécution et 
mobiliser une personne pour 

110
00:05:22,120 --> 00:05:23,800
examiner ce que l'agent a 
produit. 

111
00:05:24,200 --> 00:05:27,360
À l'inverse, un filtre qui coupe
trop tôt peut donner une réponse

112
00:05:27,360 --> 00:05:30,400
impeccable en apparence, mais 
laisser le problème irrésolu. 

113
00:05:30,680 --> 00:05:33,560
La ressource à économiser n'est 
donc pas le token isolé. 

114
00:05:33,840 --> 00:05:36,760
C'est le travail nécessaire pour
obtenir une tâche réellement 

115
00:05:36,760 --> 00:05:39,080
terminée. 
Concrètement, avant de changer 

116
00:05:39,080 --> 00:05:41,640
de modèle, une équipe peut 
rejouer ses tâches avec les 

117
00:05:41,640 --> 00:05:43,760
mêmes poids et le même budget 
d'exécution. 

118
00:05:44,000 --> 00:05:46,560
Elle compare alors les filtres à
température fixés. 

119
00:05:46,560 --> 00:05:49,160
Au lieu de modifier tous les 
réglages ensemble dans le 

120
00:05:49,160 --> 00:05:52,160
journal de chaque essai, la 
taille du poule devient visible 

121
00:05:52,160 --> 00:05:55,000
à côté de l'issue de la tâche. 
Si l'agent part dans une 

122
00:05:55,000 --> 00:05:57,800
impasse, l'équipe peut revenir 
au moment où son éventail de 

123
00:05:57,840 --> 00:06:00,680
choix s'est dilaté. 
Si la génération reste propre 

124
00:06:00,680 --> 00:06:03,560
mais manque la solution, elle 
cherche plutôt ce que le filtre 

125
00:06:03,560 --> 00:06:06,080
a pu exclure. 
Cette enquête ne remplace pas 

126
00:06:06,080 --> 00:06:09,360
l'évaluation du résultat, elle 
permet de séparer une hypothèse 

127
00:06:09,360 --> 00:06:12,600
sur le décodage d'une hypothèse 
sur les capacités du réseau. 

128
00:06:12,760 --> 00:06:15,280
Le partage des responsabilités 
devient alors un sujet 

129
00:06:15,280 --> 00:06:17,560
d'architecture. 
Une équipe qui peut régler le 

130
00:06:17,560 --> 00:06:20,280
tirage dispose d'un levier que 
n'a pas forcément celle qui 

131
00:06:20,280 --> 00:06:23,720
consomme une interface fermée. 
Avant un achat, demander quels 

132
00:06:23,720 --> 00:06:26,320
paramètres sont réellement 
accessibles vaut donc mieux que 

133
00:06:26,320 --> 00:06:28,120
comparer seulement les 
démonstrations. 

134
00:06:28,280 --> 00:06:31,280
Le fournisseur peut vendre une 
capacité de modèle tandis que le

135
00:06:31,280 --> 00:06:33,600
client supporte le coût des 
trajectoires ratées. 

136
00:06:33,600 --> 00:06:37,240
Pouvoir observer le filtre aide 
à discuter cette frontière sans 

137
00:06:37,240 --> 00:06:38,960
prétendre que le client contrôle
tout. 

138
00:06:39,160 --> 00:06:42,080
La grille à emporter tient dans 
ce déplacement du regard. 

139
00:06:42,280 --> 00:06:45,320
Évaluer ensemble les poids et la
règle qui autorisent leurs 

140
00:06:45,320 --> 00:06:47,040
propositions à devenir des 
actions. 

141
00:06:47,560 --> 00:06:50,280
Le 0 sur l'écran du départ 
n'était pas nécessairement la 

142
00:06:50,280 --> 00:06:53,200
mesure d'une intelligence 
épuisée, il pouvait aussi 

143
00:06:53,200 --> 00:06:56,040
révéler une procédure de 
sélection inadaptée à ce régime 

144
00:06:56,040 --> 00:06:58,640
d'exploration. 
Avant de financer le prochain 

145
00:06:58,640 --> 00:07:01,240
réentraînement, une question 
mérite donc d'entrer dans la 

146
00:07:01,240 --> 00:07:05,320
salle qui tient le filtre ? 
Une trajectoire ratée ne 

147
00:07:05,320 --> 00:07:09,040
condamne pas toujours le modèle.
Demandez aussi qui a réglé le 

148
00:07:09,040 --> 00:07:09,640
tirage ?
