Databricks má trik, který umožňuje modelům AI se zlepšit

Databricks, společnost, která pomáhá velkým podnikům vytvářet vlastní modely umělé inteligence, vyvinula trik strojového učení, který může zvýšit výkon modelu AI bez nutnosti čistých označených dat.

Jonathan Frankle, hlavní vědec AI ve společnosti Databricks, minulý rok strávil mluvením se zákazníky o klíčových výzvách, kterým čelí, když se AI spolehlivě pracuje.

Problém, říká Franke, jsou špinavá data.

„Každý má nějaká data a má představu o tom, co chtějí dělat,“ říká Franke. Ale nedostatek čistých dat způsobuje, že je náročné na doladění modelu pro provedení konkrétního úkolu. „Nikdo se neobjeví s pěknými a čistými jemnými daty, která se můžete držet v pohotovosti nebo [application programming interface]“Pro model.

Model Databricks by mohl společnostem umožnit nakonec nasadit své vlastní agenty, aby plnily úkoly, aniž by v cestě stála kvalita dat.

Tato technika nabízí vzácný pohled na některé z klíčových triků, které inženýři nyní používají ke zlepšení schopností pokročilých modelů AI, zejména pokud je dobré přicházet. Metoda využívá myšlenky, které pomohly vytvořit pokročilé modely uvažování kombinací učení zesílení, způsob, jak se modely AI zlepšit prostřednictvím praxe, s „syntetickými“ nebo ai generovanými tréninkovými údaji.

Nejnovější modely od OpenAI, Google a Deepseek se silně spoléhají na učení zesílení a na data syntetického tréninku. Wired odhalil, že NVIDIA plánuje získat společnost Gretel, společnost, která se specializuje na syntetická data. „Všichni navigujeme tento prostor,“ říká Franke.

Metoda Databricks využívá skutečnost, že vzhledem k dostatečným pokusům může i slabý model dobře skóre v daném úkolu nebo benchmarku. Vědci nazývají tuto metodu zvýšení výkonnosti modelu „Best-Of“. Databricks trénoval model, který předpovídá, který nejlepší z n lidských testerů by upřednostňoval, na základě příkladů. Model odměňování Databricks, neboli DBRM, pak lze použít ke zlepšení výkonu jiných modelů bez potřeby dalších označených dat.

DBRM se pak používá k výběru nejlepších výstupů z daného modelu. Tím se vytváří data syntetického tréninku pro další doladění modelu tak, že poprvé vytvoří lepší výstup. Databricks nazývá svou novou adaptivní optimalizaci testu na testování nebo TAO. „Tato metoda, o které mluvíme, používá nějaké relativně lehké učení zesílení, které v podstatě péct výhody nejlepšího z N do samotného modelu,“ říká Frankle.

Dodává, že výzkum provedený společností Databricks ukazuje, že metoda TAO se zlepšuje, protože je škálována na větší a schopnější modely. Posílení učení a syntetická data jsou již široce používána, ale jejich kombinace za účelem zlepšení jazykových modelů je relativně nová a technicky náročná technika.

Databricks je neobvykle otevřen o tom, jak vyvíjí AI, protože chce ukázat zákazníkům, že má dovednosti potřebné k vytvoření výkonných vlastních modelů pro ně. Společnost dříve odhalila Wired, jak vyvinula DBX, špičkový open source velký jazykový model (LLM) od nuly.