Model, který ví, kdy si není jistý: poznámky k energy-based modelům

Qminers Reading Group, session 11. Tento článek kopíruje formát našich interních setkání: co říkají papery a co si o tom myslíme my.

Session 11 se věnovala energy-based modelům (EBM), paradigmatu, které k predikci přistupuje z nezvyklého úhlu: model odpověď nepočítá, ale hledá. Zaujaly nás dvě vlastnosti. Zaprvé, EBM dokáže jedné predikci přidělit proměnlivé množství výpočtu. Těžká otázka dostane více zpracování než snadná, což běžné dopředné (feedforward) sítě neumějí. A zadruhé, což je v deep learningu ještě neobvyklejší, EBM hlásí, jak moc si je svou odpovědí jistý, a to z principu své konstrukce, ne jako dodatečná nadstavba.

Co říkají papery

Přečetli jsme tři papery pokrývající dvě dekády: tutoriál LeCuna a kol. z roku 2006, který celý framework definoval, paper Du a Mordatche z roku 2019 o implicitní generaci a paper o Energy-Based Transformers z roku 2025, který testuje, zda myšlenka škáluje.

Základní koncept se vejde do jednoho odstavce. Běžný klasifikátor mapuje vstup X přímo na výstup Y. EBM se místo toho učí energetickou funkci E(Y, X), která skóruje, jak dobře kandidátní odpověď Y odpovídá vstupu X. Nízká energie znamená dobrou shodu. Predikce se tak mění v úlohu hledání: začneme náhodným odhadem a sledujeme gradient energetické funkce z kopce dolů, dokud nedorazíme do údolí. Hodnota energie na dně zároveň slouží jako míra jistoty a Boltzmannovo rozdělení převede energie na regulérní pravděpodobnosti, kdykoli je potřebujeme.

Trénink funguje jako tvarování této krajiny. Kontrastivní přístup tlačí energii dolů v bodech reálných dat a nahoru u vzorků, které model sám vygeneruje. Vzorkování využívá Langevinovu dynamiku, tedy gradientní sestup po energii s šumem přidaným v každém kroku; při dostatečném počtu kroků a dostatečně malé velikosti kroku vzorky prokazatelně sledují rozdělení modelu.

Paper z roku 2019 přinesl výsledek, který nás skutečně zaujal. V detekci out-of-distribution vstupů, tedy tam, kde má model rozpoznat data nepodobná ničemu, na čem byl trénován, byl EBM jediným modelem ve srovnání, který fungoval lépe než náhoda: průměrné AUROC 0,62 proti 0,47 u PixelCNN++ a 0,42 u Glow. Standardní generativní modely s klidem přiřazují vysokou pravděpodobnost datům, která nikdy neviděly. EBM si všimne, že něco nesedí.

Paper o Energy-Based Transformers z roku 2025 přenáší tento recept do jazykového modelování a uvádí, že EBT se zlepšují s daty, velikostí batche i hloubkou rychleji než silná baseline Transformer++, u dat až o 35 %. Ukazuje také, že gradientní kroky navíc při inferenci pomáhají nejvíc na out-of-distribution vstupech a že výběr kandidáta s nejnižší energií z několika vzorků výsledky dále zlepšuje, přičemž tento náskok s postupujícím tréninkem roste.

Co si myslíme my

Paper z roku 2025 je solidní, ale jednoduché mechanismy balí do těžkého brandingu. Glosář našeho přednášejícího, který sklidil největší smích celé session, terminologii překládá:

Co se nám líbilo. Konečně metoda, která dává kalibrovanou jistotu u jednotlivých predikcí, ne jen softmax skóre, které se blíží 1,0 bez ohledu na to, jak si model doopravdy stojí. A EBM se dobře kombinují se zbytkem nástrojů: s chain-of-thought promptingem, s reasoningem trénovaným přes RL i s modely typu VAE pro počítačové vidění. Nic na energetickém rámování vás nenutí opustit to, co už funguje.

Co se nám nelíbilo. Experimenty běží na modelech velikostně hluboko pod hranicí frontier modelů, takže titulní tvrzení o škálování stojí na extrapolaci. Trénink je vrtkavý; sami autoři píší, že hyperparametry jsou extrémně důležité a mohou být vysoce citlivé vůči výkonu, což je podle našich zkušeností varovný štítek, ne poznámka pod čarou. A srovnání škálování metodě lichotí: 35% náskok v datové efektivitě na malé škále říká jen málo o chování při stonásobném výpočtu.

Proč je to důležité pro nás

Kvantitativní výzkum stojí a padá s tím, zda víme, kdy modelu nevěřit. Predikce spárovaná s nativním, dobře se chovajícím odhadem jistoty má větší hodnotu než o něco přesnější predikce bez takového signálu, zvlášť když se rozdělení vstupů posouvá, což u finančních dat není okrajový případ, ale běžný stav věcí. EBM nejsou připravené na produkční nasazení ve velkém měřítku a už samotná citlivost na hyperparametry by je dnes vyřadila. Ale směr, tedy modely, které hlásí vlastní nejistotu a vynakládají výpočet tam, kde je potřeba, chceme mít na radaru.

Zajímají vás ty papery? Začněte LeCunovým tutoriálem kvůli frameworku, pokračujte paperem z roku 2019 kvůli tréninkovému receptu a skončete paperem z roku 2025 kvůli debatě o škálování.