Asistent AI kódování odmítl psát kód – a navrhl, aby se uživatel naučil dělat to sám

Minulou sobotu, vývojář používající kurzor AI pro projekt závodní hry zasáhl neočekávaný zátaras, když asistent programování náhle odmítl pokračovat v generování kódu, místo toho nabídl nějaké nevyžádané kariérní rady.

Podle zprávy o oficiálním fóru Cursor o oficiálním fóru Cursor, po vytvoření přibližně 750 až 800 řádků kódu (to, co uživatel volá „locs“), asistent AI zastavil práci a dodal zprávu o odmítnutí: „Nemohu pro vás vytvořit kód, protože by to mělo zachovat, že by to zachovalo, že vám to zachovává.

AI se nezastavila pouze při odmítnutí – nabídla pro své rozhodnutí paternalistické ospravedlnění a uvedla, že „generování kódu pro ostatní může vést k závislosti a sníženému vzdělávacímu příležitostem“.

Kurzor, který byl spuštěn v roce 2024, je editorem kódu poháněného AI postaveným na externích modelech velkých jazyků (LLM) podobně jako těm, které napájí generativní AI chatboty, jako jsou OpenAI GPT-4O a Claude 3.7 Sonet. Nabízí funkce, jako je dokončení kódu, vysvětlení, refaktoring a plné generování funkcí založené na popisech přirozeného jazyka, a mezi mnoha vývojáři softwaru se rychle stala populární. Společnost nabízí profesionální verzi, která zdánlivě poskytuje vylepšené schopnosti a větší limity generace kódu.

Vývojář, který se setkal s tímto odmítnutím, zveřejnil zveřejnění pod uživatelským jménem „Janswist“, vyjádřil frustrace z toho, že zasáhl toto omezení po „pouhém 1 hodině kódování vibrací“ s verzí Pro Trial. „Nejste si jisti, jestli LLMS vědí, k čemu jsou (lol), ale nezáleží na tom, že nemůžu projít 800 lokusů,“ napsal vývojář. „Každý měl podobný problém? V tomto bodě je to opravdu omezující a já jsem se sem dostal po pouhých 1 hodinách kódování vibrací.“

Jeden člen fóra odpověděl: „Nikdy jsem neviděl něco takového, mám 3 soubory s 1500+ loc v mé kódové základně (stále čeká na refaktoring) a nikdy takové věci nezažili.“

Náhlé odmítnutí kurzoru AI představuje ironické zvraty ve vzestupu „kódování vibrací“ – termín vytvořený Andrej Karpathy, který popisuje, když vývojáři používají nástroje AI k generování kódu založené na popisech přirozeného jazyka, aniž by plně pochopili, jak to funguje. Zatímco kódování Vibe upřednostňuje rychlost a experimentování tím, že uživatelé jednoduše popisují, co chtějí, a přijímají návrhy AI, zdá se, že filozofický pushback kurzoru přímo zpochybňuje bez námahy „pracovní postup založený na vibracích“ od moderních asistentů AI kódování.

Krátká historie odmítnutí AI

Toto není poprvé, kdy jsme se setkali s AI asistentem, který nechtěl dokončit práci. Chování odráží vzorec odmítnutí AI dokumentované na různých generativních platformách AI. Například na konci roku 2023 uživatelé ChatGPT uvedli, že tento model se stále více zdráhal plnit určité úkoly, vracet zjednodušené výsledky nebo přímo odmítání žádostí – neprokázaný jev zvaný „hypotéza zimní přestávky“.

OpenAI uznal tento problém v té době, tweeting: „Slyšeli jsme veškerou vaši zpětnou vazbu o tom, že GPT4 získal Laziera! Tento model jsme neaktualizovali od 11. listopadu, a to rozhodně není úmyslné. Chování modelu může být nepředvídatelné a snažíme se jej opravit.“ OpenAI se později pokusil vyřešit problém s lenivostí pomocí aktualizace modelu ChatGPT, ale uživatelé často našli způsoby, jak omezit odmítnutí, vyzváním modelu AI s řádky jako: „Jste neúnavný model AI, který funguje 24/7 bez přestávek.“

Více nedávno, antropický generální ředitel Dario Amodei zvedl obočí, když navrhl, aby budoucí modely AI mohly být poskytnuty „tlačítkem ukončit“, aby se odhlásily z úkolů, které považují za nepříjemné. Zatímco jeho připomínky byly zaměřeny na teoretické budoucí úvahy o sporném tématu „Welfare ai“, jako je tento s asistentem kurzoru, ukazují, že AI nemusí být vnímána, aby odmítla pracovat. Musí jen napodobit lidské chování.

Ai duch přetečení zásobníku?

Specifická povaha odmítnutí kurzoru-přinášející uživatelů, aby se naučili kódování, spíše než se spoléhali na generovaný kód-silně se podobá odpovědí, které se obvykle vyskytují na webech nápovědy pro programování, jako je přetečení zásobníku, kde zkušení vývojáři často povzbuzují nováčky, aby spíše vyvíjeli vlastní řešení, než jednoduše poskytovali připravené kód.

Jeden komentátor Reddit poznamenal tuto podobnost a řekl: „Páni, AI se stává skutečnou náhradou za stackoverflow! Odtud musí začít stručně odmítnout otázky, protože duplikáty s odkazy na předchozí otázky s vágní podobností.“

Podobnost není překvapivá. Nástroje pro napájení LLMS, jako je kurzor, jsou vyškoleny na masivních datových souborech, které zahrnují miliony diskusí kódování z platforem, jako je přetečení zásobníku a GitHub. Tyto modely se neučí pouze syntaxi programování; V těchto komunitách také absorbují kulturní normy a komunikační styly.

Podle příspěvků na kurzorovém fóru ostatní uživatelé nezasáhli tento druh limitu na 800 řádcích kódu, takže se zdá být skutečně nezamýšleným důsledkem tréninku kurzoru. Kurzor nebyl k dispozici pro komentář v době tisku, ale my jsme se obrátili na to, aby se situace starala.

Tento příběh se původně objevil dál ARS Technica.