Wklejanie wielkich dokumentów do czatu, wielogodzinne sesje z botem i proszenie o rozbudowane odpowiedzi — te nawyki podbijają firmowe rachunki za sztuczną inteligencję. Eksperci Capgemini Polska wskazują, jak proste zmiany mogą ograniczyć koszty.
Generatywna AI rozlicza się w tokenach — cząstkach tekstu, które model musi przeczytać i zapisać. Im dłuższa rozmowa i im więcej treści, tym wyższy koszt. Większość użytkowników nie zdaje sobie sprawy, że każde kliknięcie „Wyślij” kosztuje tym więcej, im dłuższa jest historia konwersacji.
Pułapka nieskończonego czatu
Częstym błędem jest traktowanie jednego okna czatu jako całodniowego miejsca pracy. Przy każdym nowym pytaniu model musi ponownie przeczytać całą historię rozmowy — wszystkie wcześniejsze pytania, własne odpowiedzi i załączone pliki.
Jak tłumaczy Hubert Nafalski, Project Manager Insights & Data w Capgemini Polska, każda sesja działa na zasadzie skończonego budżetu pamięci roboczej, czyli okna kontekstowego. „Kiedy prowadzimy jedną, niekończącą się rozmowę, generujemy gigantyczny, niepotrzebny szum. Model nie tylko staje się droższy w utrzymaniu, ale z czasem zaczyna działać mniej stabilnie i gubi wątek” — mówi. Najprostszym rozwiązaniem jest według niego zasada: nowe zadanie to nowe, czyste okno czatu.
Gadatliwość kosztuje najwięcej
Drugim „złodziejem tokenów” jest obudowywanie odpowiedzi treścią, o którą nikt nie prosił. Typowy przykład: użytkownik prosi o drobną poprawkę w długim dokumencie lub w kodzie, a dostaje cały plik przepisany od nowa, z rozbudowanym wstępem i podsumowaniem.
Ma to wymiar kosztowy, bo na większości platform tokeny wyjściowe (to, co AI pisze) są droższe niż wejściowe (to, co czyta). Płaci się więc podwójnie — za wygenerowanie zbędnej całości oraz własnym czasem poświęconym na odszukanie jednej zmiany.
Trzy nawyki, które ograniczają koszty
Eksperci wskazują trzy proste zasady. Po pierwsze, przy poprawianiu kodu lub dokumentu warto prosić wyłącznie o zmieniony fragment, bez generowania całości. Po drugie, zamiast wklejać całe bazy danych czy kilkunastostronicowe pliki, lepiej wysyłać tylko te akapity lub funkcje, które dotyczą problemu. Po trzecie, przy zmianie zadania warto zamknąć starą sesję i otworzyć nową, by nie obciążać modelu nieaktualnym kontekstem.
Według Capgemini w skali całej organizacji takie nawyki mogą przekładać się na oszczędności rzędu setek tysięcy złotych rocznie.
