Укомплектуй ШІ-ініціативу: три ролі, які доводять до продакшену

У травні 2025 року засновник вантажного брокера у Гданську показав мені три рахунки за моделі. Його диспетчерський бот за чотири місяці попрацював на трьох різних флагманських моделях. Кожен перехід коштував його підряднику двох тижнів переналаштування. Кожен перехід зсував якість відповідей на волосину. Диспетчери й далі переписували кожен номер вантажу вручну: бот помирав на живих документах. Я спитав його, хто володів ботом між переходами. Ніхто. Один фрилансер правив промпти, коли знаходив час. Моделі змінювалися. Команда лишалася завширшки в одну людину. У продакшен нічого не вийшло.

Я порадив йому припинити полювання за моделями й найняти одного ШІ-інженера на шість тижнів. Вона лишила найдешевшу модель, підключила її до сховища документів і посадила диспетчера поруч з екраном перевірки. За шість тижнів бот сам закривав сімдесят відсотків рядових вантажів. Модель важила найменше. Три крісла довкола неї важили найбільше. Ось ці три крісла.

Моделі змінюються щотижня, команди вистачає на рік

Довід про культуру я дав в одному з минулих постів: команди, які записують збої й розбирають їх разом, живуть довше за команди з більшим бюджетом на інструменти. Тут я його повторювати не буду. Цей пост називає команду. Одна заміна моделі змінює стиль відповідей на тиждень. Один найм змінює те, що команда випускає, на рік.

Крісло 1: ШІ-інженер

ШІ-інженер володіє продакшеном. Вона з'єднує модель із даними компанії через пошук (RAG) у сховищі документів і підписує кожен реліз, що торкається клієнтів.

Її тиждень тримається на трьох ручках: вартість, точність, швидкість відповіді. На гданському боті вона спрямувала прості читання номерів вантажу на маленьку дешеву модель по два центи за сто викликів, і велику модель лишила для листів за претензіями про збитки, де один невірний пункт коштує живих грошей. Вона кешувала повторювані питання про тарифи. Вона задала бюджет чотири секунди на відповідь і врізала набір документів, коли відповіді йшли повільно.

Вона також володіє нудними частинами, що вирішують, чи переживе демо зустріч із клієнтами: набір оцінки з двохсот фіксованих питань із прогоном на кожен реліз; запасна модель на випадок таймауту першої; журнали, що зв'язують кожну відповідь з її вихідними сторінками. Коли диспетчери помітили невірне вікно доставки, вона простежила його до одного застарілого PDF у сховищі й замінила його того самого дня.

Наймайте це крісло першим, доки в продакшені не працює жоден бот. Жоден промпт не переживе відсутній шар пошуку.

Крісло 2: промпт-інженер

Промпт-інженер володіє надійністю інструкцій. Він змішує три ремесла: досить коду, щоб читати журнали й версіонувати промпти, досить аналітики, щоб рахувати типи збоїв, досить мовного чуття, щоб чути, чому одне речення вводить в оману втомленого водія опівночі.

Його матеріал: сама розмова. Він пише системні інструкції, few-shot приклади й схеми виводу, які розбирає код. Він веде регресійний файл минулих збоїв і проганяє його перед кожним релізом. На гданському боті водії ігнорували підтвердження бота й однаково дзвонили диспетчерам. Він прочитав сорок переписок і знайшов причину в одному рядку: бот підтверджував місто завантаження й пропускав вулицю. Він переписав підтвердження: вулиця, номер дока й вікно часу. Потім додав одне правило: бот ставить уточнювальне питання, коли будь-чого з трьох нема. Дзвінки зі зворотними викликами впали вдвічі за два тижні.

Він також формує людський бік обміну: коли бот викладає факти, коли питає, коли передає чат людині. Водії довіряють боту, який визнає межу словами «Цей документ я прочитати не можу, його забирає Анна з диспетчерської». Визнання межі вони цінують вище за вгадування. Його робота закінчується там, де починається вгадування.

Крісло 3: відповідальний за ШІ

Відповідальний за ШІ володіє огородженнями. Вона вирішує, що бот робить сам і що чекає людини.

Її інструменти нудні, і нудьга їх її влаштовує: ворота схвалення на кожне вихідне повідомлення клієнтам, прохід очищення, що зрізає номери телефонів та ID до потрапляння в журнали, позначка зберігання тридцять днів із нічним видаленням, щомісячний нагляд за зміщенням, що порівнює частки відмов і помилок за групами клієнтів. Кожне збережене поле вона прив'язує до правової підстави за GDPR, тому на листи регулятора команда відповідає з однієї сторінки. Двічі на рік вона запрошує зовнішнього аудитора на день і віддає таблиці журналів раніше за його питання.

На гданській збірці вона зупинила один реліз за день до запуску. Бот цитував тарифи з договору з водієм, що сплив у березні. Її передрелізна перевірка спіймала застарілий файл: її перевірка завжди відкриває список джерел за процитованими цифрами. Затримка тривала один день. Невірна цитата, розіслана сорока перевізникам, жила б у суперечках місяцями.

Приводьте це крісло раніше, ніж бот торкнеться персональних даних або регульованих грошей. Пізніше її відсутність коштує дорожче за її зарплату.

Три крісла, одна команда

Три окремі найми утворюють чергу. Одна команда працює як full-stack команда, і чотири звички тримають її єдиною.

По-перше, п'ятничні демо. Кожен із трьох показує один збій і одне виправлення тижня за п'ятнадцять хвилин із перепискою на екрані. Гданська команда провела одинадцять таких поспіль. Промпт-інженер дізнався, яких промахів пошуку чекати. ШІ-інженер дізналася, які інструкції плутають водіїв. Знання перетинає межі крісел щотижня.

По-друге, спільний журнал збоїв. Кожна невірна відповідь потрапляє в одну таблицю з перепискою, вихідними сторінками й іменем власника. Жодних приватних нотаток. Будь-хто читає. Будь-хто додає.

По-третє, спільні права на реліз. Будь-хто з трьох зупиняє реліз, зупинці вистачає одного падаючого прикладу без виправдань. Відповідальна за ШІ користувалася цим правом одного разу. Команда подякувала їй: правило стояло з першого дня. Так виглядає спільна відповідальність на практиці: реліз належить усім трьом.

По-четверте, людина всередині контуру. Крайові випадки йдуть диспетчеру, кожне рішення диспетчера повертається в набір оцінки. Команда разом вивчає нові версії моделей щомісяця й проганяє регресійний файл раніше будь-якого впровадження. Навчання йде за календарем. Знання живе у файлах, яких торкаються всі троє, тому жоден відхід його не забирає.

Куди вбудовується фахівець

Порядок найму йде за болем. Доки в продакшені не працює жоден бот, наймайте ШІ-інженера першим. Вона будує шар пошуку й набір оцінки, на які стануть наступні найняті. Коли бот працює й щодня розуміє людей невірно, наймайте промпт-інженера першим. Він лагодить розмови, які в команди вже є. Коли бот торкається персональних даних, грошей або найму, приводьте відповідального за ШІ до наступного релізу. Її перевірка коштує один тиждень. Лист регулятора коштує рік.

Решту віддайте назовні. Зовнішній перевіряльник збирає перший набір оцінки за дні. Зовнішня команда злому перевіряє бота раз на квартал. Зовнішній юрист один раз розкладає поля даних. Всередині тримайте три речі: файли промптів, рішення про реліз і журнал збоїв. Ці троє несуть пам'ять продукту, і пам'ять продукту лишається вдома.

Почніть з одного крісла цього місяця. Додайте друге, коли клієнти говорять із ботом щодня. Додайте третє раніше, ніж дані стануть чутливими. Три крісла, одна команда, і модель стає найдешевшим із ухвалених вами рішень.