AI nástroje v praxi: Dobrý sluha, špatný pán

Když jsem se před několika měsíci pustil do rozsáhlé business analýzy pro nový informační systém, říkal jsem si: No konečně! Tohle bude ta chvíle, kdy mi AI asistenti ukážou, co v nich skutečně je, protože s tím psaním kódu jim to moc nejde (o tom ale jindy). Těšil jsem se jako malé dítě na Vánoce. Dva měsíce intenzivního denního používání různých AI nástrojů by mi přece měly dát jasnou odpověď na otázku, jestli nás s AI skutečně čeká budoucnost, kde můžeme propustit polovinu týmu, nebo jestli je to jen další přehnaný hype.

Spoiler: Hype přeceňuje realitu. A hodně. A ty Vánoce? No, řekněme, že jsem dostal ponožky.

Disclaimer: Tohle není žádná vědecká studie a už vůbec ne objektivní srovnávací analýza. Je to válečný deník z fronty. Osobní zkušenosti člověka, který dva měsíce každý den zkoušel, jak moc dokážou AI nástroje usnadnit práci business analytika. Takže pokud hledáte akademickou práci s grafy a tabulkami, jste na špatné adrese.Tohle je čistě můj subjektivní pohled na svět AI.

Velké zklamání za velké peníze: AI v kancelářských aplikacích

Začněme tam, kde jsem měl největší naděje a kde mě potkal největší face palm. Microsoft a Google investovaly do svých AI asistentů stovky miliard dolarů. To jsou peníze, za které by se dala vyřešit celosvětová chudoba, nakrmit celá Afrika nebo zajistit čistou pitnou vodu pro každého člověka na planetě. Copilot v Office 365, Gemini v Google Workspace. Zní to úžasně, že? Konečně někdo, kdo mi pomůže s tou nekonečnou otravou zvanou formátování dokumentů.

Moje očekávání byla (a stále jsou) poměrně jednoduchá: Když jazykový model umí manipulovat s textem a když výrobce AI asistenta je ten samý jako výrobce kancelářského balíku, měl by ten asistent fungovat jako skutečná asistentka. Nejen generovat text, ale plnohodnotně ovládat aplikaci.

Představte si to: Řeknete "Zformátuj mi tento dokument podle firemní šablony", "Uprav nadpisy tak a tak", "Nahraď formátování u seznamů …" a AI to udělá. Komunikujete přirozeně, bez předem dogmaticky definované syntaxe příkazů. Přesně to jsme přece s AI konečně dostali, ne? Protože pouhé generování textu za ty miliardy tak nějak nestojí …

Tak jsem to zkusil.

Měl jsem text, který potřeboval konkrétní formátování. Napsal jsem Copilotovi: "Zformátuj mi tento text podle následujících pravidel..." Očekával jsem, že kliknu, počkám dvě vteřiny a bude hotovo.

Místo toho jsem dostal... návod, jak to mám udělat sám.

Ano, přečetl jste správně. Copilot mi vysvětlil, které menu mám otevřít, kam mám kliknout a jaké styly použít. To jako vážně? To jsem věděl sám, proto jsem ho přece volal! Copilot mi ukázal, že ví JAK to udělat - tak proč to sakra neudělal sám? Je to jako kdybyste zavolali instalatéra s ucpaným odpadem a on vám místo toho, aby to opravil, dal návod jak si koupit čistící prostředek a kde se prodává.

Zkusil jsem to s Gemini. Výsledek? Ještě lepší. Gemini mi s omluvným tónem sdělil, že je "pouze jazykový model" a že nic takového neumí. Alespoň byl upřímný a že mi nedal odkaz na YouTube tutoriál.

Excel a paradox Open XML

Pak jsem zkusil jiný úkol. Součástá analýza je i nekonečné vytváření excelových tabulek. Jejich vytvoření a naformátování mi často vezme víc energie než samotné jejich naplnění. Měl jsem dlouhý text s různými datovými body a potřeboval jsem je vytáhnout do excelové tabulky.

A tady se dostáváme k úplnému absurdnu. Copilot? Začal generovat HTML stránku. Gemini? CSV soubor. ChatGPT? Taky HTML. Claude nakonec vytvořil HTML s tlačítkem "Vygeneruj tabulku", ale na implementaci toho tlačítka se elegantně vykašlal. Jako kdyby vám automechanik dodal auto s volantem, který není připojený k řízení, ale vypadá to fakt hezky.

Takže moment - AI umí generovat HTML a jiný kód, ale neumí vytvořit XLSX soubor? Pro ty, kteří neznají technické detaily: XLSX nebo DOCX není nic jiného než zazipované Open XML. Tedy jen textové značky jako třeba HTML, jen v jiné a předem definované a známé syntaxi. Pokud AI umí jedno, měla by zvládnout i druhé. Pro zazipování si umí napsat kód třeba v pythonu.

Ale nezvládá. Protože logika.

Proč by to mělo fungovat?

Tady si dovolím moment frustrace. Zbavit mě této pro mě otravné práce - a ano, vím, že jsou lidé, co si na formátování dokumentů a tabulek ulítávají, ale já k nim nepatřím - je přesně to, co bych od těchto nástrojů čekal. Je to přesně to za co jsem ochoten zaplatit! A je to přesně to co mi ušetří týdny pracovního života za rok.

Našli jsme způsob, jak může člověk komunikovat s počítačem relativně přirozeně. Už nemusíme psát příkazy v přesně definované syntaxi. Stačí říct, co chceme. To je přece ta revoluce, o které se mluví!

Tak proč to sakra po utracení stovek miliard dolarů to ty aplikace neumí?

Zcela otevřeně říkám: Tahle funkčnost by mi pomohla mnohem více než generování textu. Text napsat umím. Strávit hodiny formátováním dokumentu, aby splňoval požadavky šablony? To je práce, kterou bych rád delegoval.

Ale nemohu. Protože AI asistenti v kancelářských aplikacích jsou v podstatě jen chatboti, kteří umí generovat text. Neovládají aplikaci. Nevidí, co děláte. Nemohou za vás kliknout. Jsou to jen konzultanti, kteří vám radí, co máte udělat - ale neudělají to za vás.

A to je pro mě zklamání roku. Ne, vlastně dekády.

Takže shrnutí: Firmy proinvestovali stovky miliard do AI asistentů v kancelářských aplikacích a ani jeden z nich mi neumí usnadnit tu nejvíc otravnou práci. Formátování? Musím stále sám. Práce s tabulkami? Musím stále sám. Ovládání aplikace? Musím stále sám.

Na co tedy ty miliardy šly? Myslím, že to je otázka, kterou by si měl položit každý, kdo věří v AI revoluci a hlavně manažeři těch firem. Opravdu má smysl utrácet takové peníze za generátory náhodného textu?

Přepis schůzek: Kde je pravda a kde fiction

Tady jsem naopak čekal nejhorší a byl jsem mile překvapen. Aspoň částečně.

Copilot v Teams jsem testoval proti OpenAI Whisper na přepisech několika workshopů. A musím říct, že Copilot v Teams funguje výrazně lépe. Vlastně nejlépe za všech. A ano, výsledek může být zkreslený tím, že čeština je pro AI těžká. 
Whisper sice také dělal přepis, ale občas se tam objevila poetická vložka typu "miluji", "ještě se zlučím" nebo existenciální otázka "týčíme se?". Vážně. Takhle blbě nemluví ani náš bývalý premiér "Motýle". A to už je co říct.

I Copilot v Teams tyto kreativní výlevy měl, ale ne v takové míře. A oproti Gemini v Meetu je o světelné roky dál. Tedy aspoň za mě.

Ale pozor - to byl přepis, ne shrnutí. A tady začíná zábava.

Všechny dostupné modely - Copilot, ChatGPT, Claude, Gemini - mají s tvorbou shrnutí zásadní problém. Jejich shrnutí schůzky nedávají smysl.

Ještě horší ale je, že si ty modely vymýšlejí. A umějí to stejně dobře, jako když vám politik prezentuje grafy.

Konkrétní příklad: Na jednom workshopu jsme řešili architekturu nového systému. AI mi ve shrnutí napsalo, že jsme se dohodli na řešení X, které má vlastnosti Y a Z. Problém? Na workshopu jsme řešení X sice zmínili, ale rychle jsme ho zavrhli jako nevhodné. Vlastnost Y jsme vůbec neprobírali a Z si AI prostě vymyslelo.

Kdybych nebyl na tom workshopu osobně a neměl vlastní poznámky, postavili bychom podle toho AI shrnutí místo auta asi raketoplán na elektriku, do kterého se ale pořád bude tankovat. A nejhorší? AI to píše s takovou jistotou, že kdybyste tam nebyli, ani by vás nenapadlo, že si to vymyslelo.

Takže ano, přepis funguje celkem dobře. Ale důvěřovat shrnutí? To radši hrajte ruletu.

Generování diagramů: Když si technologie střelí do nohy

Tohle byla kapitola, na kterou jsem se těšil nejvíc a která mě zklamala nejvíc. 
Camunda, BACopilot, Eraser - všechny slibují, že z textového popisu vytvoří diagram. Zní to jako sen každého analytika, že?

Realita vypadala jinak. Hodně jinak.

Eraser ještě tak nějak dokázal nakreslit jednoduchou architekturu komponent, který se dal použít jako draft. Pokud jste potřebovali ukázat, že máte databázi, aplikační vrstvu a frontend, dal se použít. Ale jakmile to bylo trochu komplexnější, začaly problémy. A když říkám "trochu komplexnější", myslím tím "víc než tři čtverce propojené šipkami".

Ale tvorba BPMN diagramů? To byla tragédie na pokračování.

BACopilot dostal prompt popisující byznys proces na A4. Výsledek? Diagram s asi třemi akcemi. Ze stránky textu. Tři akce. Zbytek si asi AI myslelo, že není důležité. Jako kdybyste natočili tříhodinový film a editor vám ho sestříhal na dvě minuty, protože mu přišlo, že zbytek je nuda.

Camunda toho sice vygenerovala víc, ale správně byl maximálně tak vstupní bod procesu. Zbytek byl kreativní interpretací reality, která s naším popisem měla společné tak akorát jazyk, ve kterém to bylo napsáno.

Vyzkoušel jsem desítky přístupů a stovky pokusů . Různé prompty, různé styly psaní, různá struktura a mnoho různých nástrojů - Lucidchart, Miro, Mermaid a mnoho dalších, jejichž jména si už ani nepamatuji. Často jsem narazil na to, že "BPMN ne, ale Flow diagram ano!". Tak si říkám zkusím alespoň Flow diagram jako odrazový můstek. Ale ani to nefungovalo. Výsledek byl pokaždé stejný: Nepoužitelné. Ale jako fakt nepoužitelné. Neočekával jsem 100% výsledek. Čekal jsem draft který bude vyžadovat úpravy a korekce. Ale nedostal jsem nic co by šlo jenom trochu použít!.

A pozor to se pořád bavíme jen o base BPMN. Že byste chtěli přidat pooly a swimline a další vymoženosti? No tak to si nechte zajít chuť. Takový přepych. Kdo to kdy viděl. 

Takže pokud vás někdo přesvědčuje, že vám AI vygeneruje BPMN diagram z popisu procesu, nelžou vám. Opravdu vám něco vygenerují. Jenom to nebude ten diagram, který potřebujete. Ani náhodou. Bude to něco, co vzdáleně připomíná diagram, stejně jako obrázek nakreslený tříletým dítětem může vzdáleně připomínat Monu Lisu.

Tady to byla naprostá ztráta času. Rychleji bych ten diagram nakreslil sám (nakonec jsem stejně musel). Přitom se fakt všichni pyšní tím, že tam ten AI asistent je. 

AI jako psací asistent: Dobrý sluha, špatný pán

A teď k tomu, kde AI nástroje skutečně fungují. Aspoň částečně.

Testoval jsem ChatGPT, Gemini, Claude Opus a Claude Sonnet jako pomocníky při tvorbě různých dokumentů - od technické dokumentace přes byznys požadavky až po meeting notes a další možnosti použití.

Claude Opus se ukázal jako nejlepší. Dokázal pracovat s kontextem, nebyl jen stenografka, která opisuje, co jí řeknete. Uměl přidat vlastní perspektivu, vylepšit formulace, navrhnout strukturu.

Claude Sonnet, ChatGPT a Gemini? Ty byly přesně jako stenografka. Řekl jste něco, oni to přepsali do hezčích vět. Konec.

Ale i zde byl zásadní problém: Všechny modely si neustále vymýšlely. A to i přes striktní zákaz a explicitní požadavek na odkazy ke zdrojům. Napsal jsem: "Piš pouze na základě informací, které ti dávám, nic si nevymýšlej a vše odkazuj." Výsledek? Půlka textu byla "kreativní interpretace" reality s odkazy, které nevedly nikam, nebo ještě lépe - odkazy na zdroje, které jsme nikdy neprobírali.

Druhý problém byl jejich "přemýšlení". AI si často myslely, že něco, co už jsme odpracovali, už není potřeba zmínit. Tak to prostě zahodily. Pracovali jste na něčem celý den, dali jste to AI k přepracování a ona vám to zkrátila o polovinu, protože jí to přišlo zbytečné. Děkuji, to jako fakt nepotřebuju. Je to jako si najmout uklízečku, která vám "optimalizuje" byt tím, že vyhodí polovinu věcí, protože si myslela, že je stejně nepotřebujete.

Tohle byl problém i při tvorbě meeting notes. AI vám vytvořila pěkný přehled, ale vynechala polovinu věcí, o kterých jste se bavili. A pak jste byli tam co Baťa s cvičkama, protože jste si nebyli jistí, jestli jste to skutečně neprobírali, nebo jestli to AI jenom "optimalizovalo pryč".

Práci s AI při psaní bych označil jako „korektury od rána až do noci“ . Neustále kontrolujete, jestli si něco nevymyslelo, jestli něco nevynechalo, jestli to dává smysl. Je to jako mít malé dítě, které umí psát. Ano, píše to za vás. Ne, nemůžete mu věřit, že to udělá dobře. A můžete mu to říct stokrát, po stoprvní to třeba konečně pochopí. Nebo ne. Je to ruleta.

Takže co s tím?

Teď když jsem vám celý článek kritizoval AI nástroje, přijde čas na realitu: AI jsou užitečné nástroje. Ale - a je to velké ale - pouze jen pokud víte, co děláte, čeho chcete dosáhnout, a dokážete je neustále usměrňovat.

Představte si to jako práci s velmi inteligentním praktikantem. Je chytrý, rychlý, ochotný. Ale nemá kontext, nemá zkušenosti, neví, co je důležité a co ne. A občas si vymýšlí věci, o kterých nemá ani tušení.

Nahradí vás? Ne. Pomůže vám? Ano, pokud ho budete neustále hlídat.

A teze o tom, že AI nahradí hromady lidí? Myslím si, že je bublina. Aspoň ne v profesích, kde se vyžaduje myšlení, znalost kontextu a schopnost se rozhodovat. AI může urychlit některé úkoly, může vám pomoct s formulacemi, může vytvořit první návrh. Ale finální produkt? Ten musí vyjít z vaší hlavy a vašich rukou.

No dobře říkáte si. Takže seniory to hned tak nenahradí ale juniory už to přeci nahradit snadno zvládne. Řekněme, že tato teze může mít i pravdu. Má to ovšem jeden háček. Senioři na stromě nerostou. Ani nevychází ze škol nebo kurzů. Je to stejné jako s řidičákem. To, že jste ho dostali neznamená, že umíte řídit ale že jste dostali povolení se to naučit.

Takže ta zásadní otázka je. Kde se vezmou ti senioři když se zbavíme juniorů?

Proč to tak je?

Protože AI není schopné chápat. Není schopné myslet. Není schopné abstrakce. Umí doslova jen kombinovat to co už vymyslel nějaký člověk. 

Ano, umí zpracovat obrovské množství dat. Ano, umí najít vzory a generovat text, který vypadá inteligentně. Ale když potřebujete, aby pochopilo kontext vašeho projektu, aby rozlišilo, co je důležité a co ne, aby udělalo rozhodnutí na základě neúplných informací - tam AI selhává.

Proto AI vynechává důležité části z meeting notes - neví, co je důležité. Proto si vymýšlí fakta - nemá způsob, jak ověřit, jestli to, co generuje, dává smysl v reálném světě.

AI jsou šikovné nástroje na zpracování vzorů v datech. Ale život, práce, byznys - to nejsou vzory v datech. To je chaos, kontext, nuance, intuice.

Do nahrazení lidí v profesích vyžadujících myšlení má AI, alespoň dle mě, ještě hodně daleko.

AI jsou dobrý sluha, ale špatný pán. Pokud je necháte, aby vedly vaši práci, dopadne to špatně. Pokud je ale použijete jako nástroj, který vám pomůže s repetitivními úkoly, ušetří vám čas, když víte přesně, co po nich chcete - pak fungují.

Ale - a tady opakuji svoje největší zklamání - ani za stovky miliard dolarů vám ty proklaté nástroje v Office nebo Google Workspace pořád neumí zformátovat dokument nebo tabulku. Pro Google nebo Microsoft to přece nemůže být problém naimplementovat. Že by špatný produkťák? 
Ale co, aspoň umí generovat motivační citáty a psát básničky. Určitě to stálo za tu investici.

A generátory (nejen) BPMN diagramů? Ty záložky v prohlížeči můžete v klidu smazat a čas, který byste s nimi strávili, radši věnovat kreslení diagramů ručně. Budete hotovi rychleji.

Dva měsíce intenzivního testování mě naučily hlavně jedno: AI hype je přesně to - hype. Realita je mnohem přízemější, mnohem praktičtější a mnohem méně revoluční, než jak nám ji markeťáci prodávají.

Ale něco mi AI přeci jen dalo. Rychlejší první návrhy textů. Lepší formulace některých pasáží. Ušetřený čas u jednoduchých úkolů. Jen to není budoucnost, kde můžeme propustit polovinu týmu. Je to přítomnost, kde můžeme být o něco produktivnější. Pokud víme, co děláme.

A pokud máme nekonečnou trpělivost s vymýšlením si AI.

A jenom takový můj pocit na závěr. Kdyby jsme ty peníze co se investovali v posledních letech do AI investovali radši do vyřešení světové chudoby mělo by to pro lidstvo mnohem větší přínos než AI chatboti a asistenti. 

A ještě jeden “PRO TIP” na závěr. Pokud Vám AI dá nesmyslnou odpověď, nápad nebo prostě vyhodnutí něco špatně. Nenechávejte to v kontextu. Smažte tu odpověď a přeformulujte původní zadání, aby odpovědělo lépe. Pokud to totiž v kontextu necháte bude se vám to vracet pořád jako bumerang.