Ця розповідь про експеримент, де ШІ, здається, став членом команди, обираючи проекти для грантової підтримки
Отриманий досвід проливає світло на те, як революційна технологія змінює спосіб, яким ми підтримуємо і розвиваємо наші громади. Це розповідь про те, як ШІ може бути використаний для створення ще більш об'єктивного та ефективного процесу надання грантів і відкрити нові можливості для позитивних соціальних змін.
В експеримент ми пішли разом з благодійним фондом, який є помітно прогресивним щодо використання інструментів та технологій. Це «МХП-Громаді» з його конкурсом соціальних ініціатив “Час діяти, Україно!”. Особливість фонду в тому, що він допомагає розвивати українські громади й щороку виділяє понад 100 мільйонів гривень на соціальні на бізнесові проекти. Успішність проектів і наочний приклад можливості позитивних змін в громадах сприяє постійному росту поданих заявок, кількість яких тільки цього року збільшилася на 437 у порівнянні з минулим роком і сягнула 837.
Щоб оптимізувати процес відбору заявок, ми запропонували залучити до первинного відбору штучний інтелект. Незадовго перед цим GPT-4 отримав оновлення – можливість працювати з плагінами. Плагіни – це додаткові функції, що розширюють базові можливості штучного інтелекту. З їх допомогою ви можете надати йому доступ до вашого Google-диску, навчити читати файли різних форматів, «переглядати» відео, здійснювати пошук в інтернеті, «серфити» сайти і так далі.
Отже, ми обрали один регіон і «ввели» в журі штучний інтелект. Звісно, кожна заявка унікальна. Але є певні «технічні» параметри, за якими проводиться первинна обробка: наявність співфінансування, рекомендації та підтримка місцевого бізнесу чи влади, корисність проекту загалом тощо. Зрештою, ми вирішили, що думка GPT буде враховуватись іншими членами журі, але буде рекомендаційною. Все ж таки, це – експеримент.
Ми почали з підбору необхідних плагінів і розширили можливості базового GPT читанням лінків і pdf файлів, оскільки заявки були саме в такому форматі і знаходились у хмарному сховищі.
Ми детально описали параметри відбору, склали промпт і дали GPT лінк на першу заявку. В ній знаходився опис проекту за шаблоном, скани рекомендаційних листів з сільської ради, кошторис та інші формати даних кількістю до 20 сторінок А4. З хвилюванням ми очікували як ШІ почне поволі розглядати заявку, щось уточнювати чи, може, взагалі не зможе нічого зрозуміти і дати ясну відповідь. Пройшло дві секунди і GPT видав:
«Проект "Sky Open Natural-Ecological Center" від Загальноосвітньої школи Канів у Черкаській області передбачає створення природно-екологічного центру. Бюджет проекту становить 100 000 грн, з яких 70 000 грн планується отримати від Фонду МХП-Громаді, а решту - 30 000 грн - з інших джерел. Проект має на меті залучити 200 осіб і принести користь 1000 особам, при цьому про нього дізнається 1700 осіб. В заявці включено підтримуючі листи від партнерів та докази залучення громади.
На основі наданої інформації, здається, що проект відповідає всім вимогам та критеріям для отримання гранту. Проект вирішує актуальну проблему, має чітку мету, визначену цільову аудиторію, підтримку партнерів та громади, а також передбачає конкретні результати для громади. Бюджет проекту не перевищує встановлену межу, а запитувана сума внеску відповідає вимогам.
Рекомендація: Фінансувати проект».
Це було легким шоком. ШІ не лише кваліфіковано оцінив проект, врахувавши безліч параметрів, але й зробив це в сотні разів швидше за людину. І ми в цьому переконались перевіривши та оцінивши заявку самостійно, щоб впевнитись в якості розгляду.
Наступним кроком була спроба «групового» розгляду заявок. Чого ж розмінюватись на дріб’язок, нумо «одною бджолою – весь нектар».
І тут ми спіткнулися. GPT має обмеження на кількість інформації, яку може одномоментно тримати «в голові». Шляхом діалогу з’ясувалось, що ця кількість становить приблизно 5000 знаків. Якщо при розгляді одного файлу він ще може повернутись до документу і «витягнути» звідти щось, що вже “забув”, то у випадку з багатьма файлами в нього «пригорає пиріг».
Ще одну проблему ми виявили на етапі обробки файлів поганої якості. На той момент не існувало плагінів до GPT, які могли б робити OCR-обробку (розпізнавання графічного тексту і накладання текстового шару), тому ми проводили таку обробку файлів вручну за допомогою стороннього сервісу PDF24 (хвилинне діло). Який ще, крім всього іншого, дозволяє автоматично обертати файли якщо вони відскановані криво. Це дуже впливає на якість розпізнавання, навіть якщо «крен» становить 1-2 градуси.
Звісно, кожна заявка розглядалась після GPT ще й оператором, щоб переконатись у відсутності помилок і неточностей. Виявилось, що якщо ШІ не може прочитати заявку через її погану якість, то він просто вигадує свою! До того ж робить це настільки правдоподібно, що довелось кілька разів переглянути усі заявки, щоб переконатись, що такої організації і такого проекту точно не існує і це вигадка GPT (а не, до прикладу, неправильний лінк). Маючи великий досвід роботи з GPT ми вже знали, що це креативна модель ШІ і з нею потрібен «ясний місяць опівдні».
Варіант просто сказати йому, щоб не розглядав такі заявки і повідомляв про помилку не підходить. GPT таке не сприймає: він дуже хоче допомогти і завжди дасть відповідь, навіть якщо її доведеться вигадати.
В цілому штучний інтелект без нарікань обробив десь половину заявок. Ще частину він розглянув після ручного покращення якості файлів. Помилкові обробки склали 2% від усієї кількості: це технічна проблема і вона легко вирішується вимогою до якості файлів.
Нова модель GPT-4 CI, що з’явилась достатньо недавно, дозволяє завантажувати файли в середовище штучного інтелекту напряму. Весь процес обробки візуалізовано, ви можете переглянути кожен його етап. При помилці GPT CI повідомляє про неї і пробує різні підходи, щоб обробити інформацію вірно. Які можливості і покращення ШІ з’являться ще за кілька місяців можна лише гадати.
За результатами експерименту ми з «МХП-Громаді» дійшли до висновку, що ШІ надзвичайно корисний інструмент в такій роботі. Особливо зважаючи на швидкість обробки файлів. А з урахуванням динаміки росту кількості заявок, в наступному році ми рекомендували «МХП-Громаді» залучити GPT в ширшому форматі та, маючи вже відповідний досвід, технічно підготуватись до його інтеграції в процес первинного розгляду. Як і раніше, експерти журі й надалі прийматимуть остаточні рішення щодо вибору переможця. Але машина зробить їх роботу в рази легшою, швидшою і продуктивнішою.
P.S. Усі українські “народні” примовки по тексту були придумані GPT :)
