Co stojí měsíc s agentem: jak si to spočítat dřív, než přijde účet

Nejčastější otázka k celému seriálu je „a kolik to stojí?“. Poctivá odpověď je, že nevím — a že to nevíte ani vy, dokud to nezměříte. Dva lidé se stejnou sestavou mohou platit řádově jiné částky podle toho, co agentovi zadali.

Tenhle díl proto místo čísla dává postup. Za týden budete mít své.

Čtyři složky

Elektřina. NAS, který už běžel kvůli fotkám, vás kvůli agentovi nestojí skoro nic navíc. U nového stroje je výpočet jednoduchý: příkon ve wattech × 24 × 30 ÷ 1000 × cena za kilowatthodinu. Příkon nehádejte; zásuvkový měřič stojí pár stovek a řekne pravdu.

Předplatná. Sečtěte všechno, co s agentem souvisí: model, Beeper, Notion, hlasové služby. Pozor na dvojí placení téhož — předplatné modelu v aplikaci a k tomu tokeny přes klíč jsou dvě různé věci a agent většinou spotřebovává tu druhou.

Tokeny. Jediná složka, které se věnuje zbytek dílu.

Čas. Instalace je jednorázová. Údržba ne: aktualizace, spadlý most, vypršelý token, ladění úlohy, která vrací nesmysly. Zapište si to první měsíc do poznámek. Půl hodiny měsíčně je dobrý výsledek, tři hodiny důvod k zamyšlení.

Jak změřit tokeny

Tři kroky, žádný z nich není složitý.

1. Jeden klíč na jednoho agenta. Dokud agent sdílí klíč s čímkoli jiným, nevíte, kdo kolik utratil. Vlastní klíč s vlastním stropem je základ; postup je v dílu o OpenRouteru.

2. Denní pohled první týden. Poskytovatel ukazuje útratu klíče po dnech. U OpenRouteru je to i jeden dotaz, který vrátí útratu za den, týden a měsíc a kolik zbývá do stropu. První týden se dívejte každé ráno. Hledáte dvě věci: den, který vyčnívá, a trend.

3. Rozpad po úlohách. V rozhovoru s agentem ukáže příkaz /usage, kolik tokenů spotřebovala právě běžící konverzace. Spusťte každou plánovanou úlohu jednou ručně a číslo si zapište. Tím získáte to nejcennější: cenu jednoho běhu.

Tabulka k vyplnění

Poslední sloupec je důvod, proč tabulku dělat. Skoro vždy ukáže, že dvě úlohy tvoří většinu účtu — a ne ty, u kterých byste to čekali.

Kde se peníze ztrácejí

Pevná režie každého dotazu. Než agent přečte první slovo vaší zprávy, pošle modelu své zadání, popis všech nástrojů, seznam dovedností a paměť. Tahle část se platí pokaždé. Hermes ji umí rozepsat příkazem hermes prompt-size. Nástroje a dovednosti, které nepoužíváte, jsou účet za nic.

První sken celé historie. Když agenta poprvé pustíte na roky zpráv, přečte je všechny. Je to jednorázové, ale může to být většina prvního měsíce. Začněte posledním týdnem.

Dlouhé rozhovory. Každá další zpráva v téže konverzaci nese s sebou všechno předchozí. Rozhovor, který táhnete týden, je s každou odpovědí dražší. Novou věc začínejte novou konverzací.

Úloha, která hlídá něco, co se nemění. Kontrola každou hodinu, která 23krát denně zjistí, že se nic nestalo, platí 23krát za zprávu „nic“.

Opakované pokusy. Úloha, která selže a zkouší to znovu, umí přes noc utratit víc než celý zbytek týdne. Proto strop na klíči.

Záloha, která se stala hlavní cestou. Když hlavní poskytovatel vrací chyby, agent tiše jede na záložním. Pokud je záložní model dražší, zjistíte to až z účtu.

Pět pák

Seřazené podle toho, kolik obvykle ušetří za kolik práce.

1. Menší model na rutinu. Třídění, shrnutí a extrakce nepotřebují nejsilnější model. Rozdíl v ceně bývá mnohonásobný, rozdíl ve výsledku u těchhle úloh malý. Podrobně v dílu o směrování podle úlohy.
2. Hlídání bez modelu. Kontrolu, která se dá napsat jako skript, pusťte v režimu bez modelu: skript běží podle rozvrhu, model se nezavolá vůbec a zpráva přijde, jen když skript něco vypíše.
3. Méně nástrojů a dovedností. Vypněte, co nepoužíváte. Zmenší se režie každého dotazu.
4. Řidší rozvrh. Dvakrát denně místo každé hodiny. U většiny úloh nepoznáte rozdíl jinde než na účtu.
5. Jedna úloha místo pěti. Proč a jak, je v dílu o ranním briefu.

Srovnání, které dává smysl

Samotné číslo nic neříká. Postavte ho proti dvěma věcem:

Proti předplatnému. Kdyby totéž zvládly rutiny v aplikaci, kterou už platíte, je každá koruna za tokeny navíc cena za to, co rutiny neumějí. Vyplatí se vám ten rozdíl?

Proti času. Kolik minut týdně vám agent šetří, poctivě? Odečtěte údržbu. Co zbude, vynásobte tím, zač svůj čas počítáte. Je-li výsledek menší než účet, máte drahý koníček. I to je v pořádku, jen je dobré to vědět.

Širší srovnání lokálního a cloudového provozu je v dílu o nákladech.

Na co si dát pozor

• Strop není odhad. Nastavte ho na částku, kterou jste ochotni ztratit při nejhorší noci, ne na očekávanou útratu.
• Ceny modelů se mění. Tabulku si jednou za čtvrt roku přepočítejte.
• Bezplatné modely nejsou zdarma. Platíte daty a limity. Na agenta, který čte vaše zprávy, je nepoužívejte.
• Druhý měsíc bývá levnější než první. Odpadne úvodní sken a ladění. Rozhodujte se podle druhého.

---

Smyslem měření není utratit co nejméně. Je jím vědět, za co platíte — protože teprve pak se dá rozhodnout, která z těch úloh za své peníze stojí.