Профильные СМИ озадачены новым аспектом работы с нейросетям, который, судя по всему, существенно увеличивает расходы на их эксплуатацию. И даже наносит урон окружающей среде. Речь о чрезмерной вежливости пользователей – каждое слово «пожалуйста» и «спасибо» ИИ воспринимает не как необязательную формальность, а как часть запроса — токен. Журналисты спросили главу OpenAI Сэма Альтмана, сколько компания тратит на обработку этих запросов, и получили интригующий ответ — десятки миллионов долларов.
Для модели GPT-3.5 Turbo цена 1000 входных токенов составляет $0,0015, а выходных и $0,002 долл. за 1000 токенов. Это данные от самой OpenAI. Каждая комбинация «пожалуйста и спасибо» добавляет 2-4 токена — по примерным подсчетам это увеличивает затраты на работу ИИ на $400 в день или $146 000 в год. Это явно меньше, чем десятки миллионов долларов.
Из официальных отчетов OpenAI следует, что компания тратит на оплату электроэнергии для своих систем до $140 млн. в год. Но сюда входит вообще вся работа, а не только обработка вежливых запросов. Так что слова Альтмана вполне могут быть правдой — и при этом нельзя исключать, что он знает нечто такое, о чем пока не готов поведать широкой аудитории.