Skvělý zážitek chatbota, který odpovídá okamžitě

Pokud je to všechno pravda – a v tuto chvíli to nejde říct – Groq by mohl představovat hrozbu pro dominanci Nvidie. Ross je opatrný, když o tom diskutujeme. „Aby bylo jasno – oni jsou Goliáš a my jsme David,“ říká. „Bylo by velmi, velmi pošetilé říkat, že se o nás Nvidia bojí.“ Když jsme se však zeptali na Groq, rychlá odpověď Nvidie naznačuje, že spuštění je skutečně na jejím radaru. S rychlostí blízkou Groqu mi PR tým Goliáše poslal prohlášení o tom, že výhoda umělé inteligence Nvidie nespočívá pouze v jejích čipech, ale v dalších službách, které zákazníkům poskytuje. jako je software AI, paměť, sítě a další vychytávky. „AI computing v datovém centru je složitá výzva, která vyžaduje řešení full-stack,“ říká, čímž naznačuje, že jeho nejmenovaný konkurent může mít problém se zásobníkem.

V každém případě Ross říká, že nesoutěží s Nvidií, ale nabízí alternativní zážitek – a to nejen z hlediska rychlosti. Jeho úkolem je zajistit, aby Groq přinášel spravedlivé výsledky neposkvrněné politickým hlediskem nebo tlakem komerčních zájmů. „Groq se nikdy nebude podílet na reklamě,“ říká. „Protože to ovlivňuje lidi.“ AI by měla být vždy neutrální, nikdy by vám neměla říkat, co si máte myslet. Groq existuje, aby zajistil přístup všem. Pomáhá vám při rozhodování, ne jeho rozhodnutí.“ Skvělé pocity, ale dokonce i chatbot Groq, když jsem se ho zeptal na idealismus v rané fázi, je k takovým tvrzením skeptický. „Tlak na generování zisků a rozsah může vést i zakladatele s dobrými úmysly ke kompromisu ze svých ideálů,“ odpověděl pohotově.

Ještě jedna věc. Možná jste slyšeli, že Elon Musk dal jméno „Grok“ LLM vytvořené jeho společností AI. To Rosse překvapilo, protože říká, že si nechal ochrannou známkou jméno své společnosti, když ji v roce 2016 zakládal, a věří, že pokrývá foneticky totožný původní termín. „Zavolali jsme diby,“ říká. „Nemůže to mít.“ Poslali jsme dopis o zastavení a zastavení.“ Zatím nedostal od Muska odpověď.

Když jsem se zeptal Groq na spor o název, nejprve mě upozornil, že neposkytuje právní názory. „Mohu však poskytnout určitý kontext, který vám může pomoci lépe porozumět situaci,“ uvedlo. Bot vysvětlil, že termín grok se v tomto odvětví používá po desetiletí, takže Musk by měl na jeho použití právo. Na druhou stranu, pokud by Groq tento výraz označil za ochrannou známku, mohl by mít výhradní nárok. Vše přesné a na jedničku – vše, co byste očekávali od moderního LLM. Co byste nečekali, bylo, že odpověď se objevila za méně než sekundu.

Cestování v čase

Ve své knize o Googlu In the Plex jsem vysvětlil, jak společnost a její spoluzakladatel Larry Page upřednostnili rychlost a uznali, že rychlejší produkty se používají nejen častěji, ale i jinak. V Googlu se to stalo posedlostí.

Inženýři pracující pro Page se to naučili dostatečně rychle [his speed] přednost. „Když lidé dělají dema a jsou pomalí, vím, že někdy počítám,“ říká. „Jeden tisíc, dva tisíc. To má tendenci upoutat pozornost lidí.“ Ve skutečnosti, pokud by se váš produkt dal změřit během několika sekund, už byste selhali. Paul Buchheit vzpomíná, jak jednou v Larryho kanceláři dělal první demo Gmailu. Page se zašklebil a řekl mu, že je to příliš pomalé. Buchheit protestoval, ale Page zopakoval svou stížnost a tvrdil, že opětovné načtení trvalo nejméně 600 milisekund. (To je šest desetin sekundy.) Buchheit si pomyslel: To nemůžeš vědět, ale když se vrátil do své kanceláře, zkontroloval protokoly serveru. Šest set milisekund. „Dokázal to,“ říká Buchheit.