Exkluzivní: Honor debutuje nového agenta AI, který dokáže číst a porozumět vaší obrazovce

Vybral si restauraci, ale pak nemohl tento proces dokončit, protože místo, které si vybralo, vyžadovalo kreditní kartu k potvrzení rezervace, kdy uživatel musel převzít. Můžete být flexibilní ve svém dotazu – v dalším příkladu, který ji požádá o rezervaci „vysoce hodnocené“ restaurace, znamenalo, že by se podívala na recenze s vysokým skóre, i když agent nedělá nic jiného než to. Nejedná se o recenze OpenTable s daty z jiných částí webu, zejména proto, že všechna tato data jsou zpracovávána na zařízení a nejsou odesílána do cloudu.

Tento druh agentické umělé inteligence je aktuální bzučení v technické sféře. Můj kolega Will Knight nedávno testoval asistenta AI, který mohl procházet web a plnit úkoly online. Google koncem loňského roku představil svůj model Gemini 2 AI vyškolený k podání opatření vaším jménem. Obnovuje také myšlenku generativního uživatelského rozhraní pro smartphony – na MWC 2024 jsme viděli několik společností pracujících na způsobech, jak interagovat s aplikacemi, aniž by používali aplikace vůbec, místo toho se opírali o asistenty AI, aby generovali uživatelské rozhraní, když jste vydali příkaz.

Honorův přístup se cítí poněkud jako to, co králík – nechvalně známého králíka R1 – dělá s Teach Mode, kde ručně trénujete jeho asistenta, abyste dokončili úkol. Není třeba přistupovat k aplikaci Aplikační programovací rozhraní (API), což je tradiční způsob, jak spolu komunikují aplikace nebo služby. Agent si zapamatuje proces a umožňuje vám poté vydat příkaz a nechat jej provést úkol.

Honor však říká, že jeho samostatný model provádění AI není vyškolen, aby sledoval přísné kroky-je schopen multimodálního rozpoznávání kontextu obrazovky pro autonomně provádět úkoly. Místo toho, aby se musel trénovat asistenta, aby se naučil každou část aplikace OpenTable, je schopen pochopit sémantické prvky uživatelského rozhraní a bude pokračovat v procesu s více kroky k provedení vaší žádosti. Honor zdůraznil, že tento proces byl nákladově efektivnější: „Na rozdíl od konkurentů, jako jsou Apple, Samsung a Google, kteří se spoléhají na externí API – přinášejí vyšší provozní náklady – agent společnosti AI nezávisle spravuje širokou škálu úkolů.“

Fotografie: Julian Chokkattu