Когнітивка від Psymetrics – прогнозований бар’єр для Вищого антикорупційного суду

Про проблему, що поставила конкурс у судді під загрозу. І потребує законодавчого врегулювання.

Вчора дізналася: для конкурсу до апеляційних судів ВККСУ встановила «середній допустимий бал тестування» на когнітивні здібності: «100 IQ-балів, що відповідає 41,4 тестового бала».

Спосіб визначення прохідного балу один із членів ВККСУ пояснив так: «Середній рівень когнітивних здібностей за методикою Сайметрікс від 93 до 107 балів - (93+107):2=100. Проста і зрозуміла формула».

Цей текст я написала раніше. Міняти в ньому нічого не довелося.

- - -

Через надмірне навантаження справами в обох інстанціях ВАКС запроваджені додаткові суддівські посади. Вища кваліфікаційна комісія суддів України оголосила конкурс.

Здавалося б, його завдання – пошук доброчесних професіоналів, здатних компетентно та сумлінно виконувати обов’язки суддів.

Втім, у поточному доборі визначальним для формування пулу претендентів виявилося тестування не фахових знань, а когнітивних здібностей. Інакше кажучи, вміння виявляти дуже неочевидні зв’язки між словами (часто – рідковживаними) й прокручувати в голові набори різноманітних фігур – в умовах украй обмеженого часу.

Зразок тесту для вимірювання абстрактно-логічного інтелекту

Приклади тестів ВККСУ заздалегідь оприлюднила. На іспиті застосували ще складніші завдання – всього 60: порівну з абстрактно-логічного та вербального блоків. На розв’язання перших було відведено 20 хвилин, других – 8.

Раніше я вказувала на недоліки тестових завдань (на прикладі вербальних) суто з теоретичних міркувань. І попереджала про ризики невиправданого викидання з конкурсу цілком достойних кандидатів. 4 грудня в недосконалості відбіркових процедур пересвідчилася на практиці.

Зразок тесту для вимірювання вербального інтелекту

Когнітивка відсіяла близько половини з тих учасників, які продемонстрували найкращі результати на I етапі конкурсу – під час перевірки загальних знань у сфері права та знань зі спеціалізації ВАКС.

Показово, що навіть із 10 чинних суддів цього суду, які бажали надалі працювати в його Апеляційній палаті, наразі в конкурсі зосталися лише 6.

Наприклад, зійшла з дистанції суддя Леся Федорак. Свій професійний шлях вона спершу торувала як науковець, була доцентом Львівського державного університету внутрішніх справ. У 2013 році склала присягу судді. Обіймала посаду голови Гребінківського районного суду на Полтавщині. Увійшла в число переможців конкурсу до ВАКС, де результативно працює з моменту його створення (2019 рік).

На першому етапі нинішнього конкурсу суддя Федорак набрала 145 балів (зі 150 можливих). Та вже невдовзі зазнала фіаско.

На когнітивці провалився і суддя ВАКС Віталій Крикливий. Перед тим Конкурсна комісія рекомендувала його до обрання членом ВККСУ – інституції, що, власне, й проводить добори та оцінювання суддівських кадрів (щоправда, з фаховим тестом у нього теж не задалося).

Наведу ще трохи тривожної статистики.

Після фахового етапу в конкурсі до Апеляційної палати залишалося 49 учасників. Не здолали прохідний бар’єр 4 претенденти, або 7,5%.

Після іспиту на когнітивні здібності зосталося 19 учасників («відсів» – 30 осіб, що дорівнює 61%).

Не краща ситуація і з добором до першої інстанції ВАКС. Там із 74 претендентів рубіж IQ перетнули лише 25 («за бортом» опинилися понад 66%).

У першій інстанції ВАКС запроваджено 15 нових посад, в Апеляційній палаті – 10. А попереду ще кілька етапів конкурсу. Тож існують ризики, що фінально не всі вакансії вдасться заповнити і процедуру добору суддів доведеться починати заново.

Рокові 75%. Чи не тільки?

Причина провалу – очевидна, загальновідома, очікувана. Неабияк завищена «планка» прохідного балу, що суперечить основоположним засадам вимірювання IQ (коефіцієнту інтелекту).

У конкурсі в «звичайні» апеляційні суди раніше встановлену ваду (не менше 75% правильних відповідей) законодавець прибрав. У доборі ж до антикорупційного суду, що відбувається паралельно, Верховна Рада нічого змінювати не стала.

Не проявила належної принциповості та наполегливості й ВККСУ, аби пояснити народним депутатам та міжнародним партнерам всі ризики.

У суспільному сприйнятті підваженими виявляться тепер обидва конкурси. Позаяк до «антикорупційних» суддів щодо когнітивних здібностей висувалися завищені вимоги, а до суддів апеляційних судів цивільної, кримінальної, адміністративної та господарської юрисдикцій – занижені (буцімто).

Тож по завершенні процедур кожен охочий зможе заявити, що до ВАКС відбирали кадри з високим інтелектом, а в апеляційні суди – решту.

Узагалі ж виглядає так, ніби конкурс до ВАКС виступив випробувальним полігоном для з’ясування рівню раціонального порогу балів з когнітивки. І перспективи заповнення вакансій в антикорупційному суді нікого особливо не турбували.

Нелюбиме дитя? Чи задум глибший?

Не випадково ж вигулькують публікації про засвідчену тестом на IQ «деградацію» суддів цього суду з пропозицією «знесення всього антикорупційного трикутника НАБУ – САП – ВАКС як, щонайменше, неефективного. А реально – шкідливого».

Незбагненний IQ

Утім, корінь проблем криється в хибному розумінні того, чим є насправді «тестування щодо когнітивних здібностей».

Усупереч поширеним стереотипам (на джерела з максимально дохідливим викладенням теорії покликаюся свідомо) визначення IQ не є вимірюванням кількості розуму (до того ж в абсолютних цифрах). Чи іспитом на рівень загальних знань, тобто ерудиції.

Абсурдно беззастережно твердити, що індивідуум з IQ в 95 балів має гірший інтелект ніж той, кому наміряно на 10 пунктів більше.

Йдеться ж бо про встановлення індивідуальних особливостей людини. Про її спроможності спостерігати й розуміти, що відбувається довкола, та розвиватися. А також про співвідношення рівня її пізнавальних здібностей з середнім рівнем у людській популяції, тобто з нормою.

Відштовхуючись від даних тестування, можливо побудувати прогноз здатності особи вирішувати складні задачі. Прогноз, бо IQ-бали не мають відношення «ані до практичного розуму, ані до творчих здібностей». Наділена вищими вольовими якостями та потужною мотивацією людина здатна досягти більшого, ніж високоінтелектуальний, але пасивний споглядач за процесами.

«Тести на інтелект» призначені виявити, який тип мислення домінує у людини: образний, логічний, вербальний тощо (адже володар напрочуд розвиненої уяви може плутатись у формальній логіці), встановити їх співвідношення, а також оцінити пам’ять, увагу досліджуваного, рівень розвитку.

У дійсності відбувається складання результатів кількох субтестів, а в підсумку видається усереднене їх значення.

Фахівці також зауважують:

«…необхідно розрізняти реальний інтелект і показники IQ-тесту. Реальні здібності можуть злегка варіюватись у залежності від настрою, самопочуття та навіть самооцінки … Людина може невірно зрозуміти погано сформульовані або погано перекладені (бували й такі випадки) умови завдання. Вона може посередині тесту втратити інтерес до цього заняття або виявитись неуважною. І навпаки: можна натренуватись на розв’язанні завдань із тесту Айзенка так, що вони будуть відскакувати від зубів. Але це аж ніяк не буде показником того, що її інтелект несказанно зріс».

Ілюстрація зі статті Вікіпедії

Розробляють тести так, аби результати описувалися нормальним розподілом з середнім значенням IQ, рівним 100. При цьому половина людей демонструє показники між 90 та 110 балів, а в діапазон від 85 до 115 IQ «вкладається» приблизно дві третини досліджуваних. І лише близько 2% населення мають IQ вище 130, чи нижче 70 балів.

У 2014 році в рамках проєкту USAID «Справедливе правосуддя» вийшло ґрунтовне науково вивірене дослідження: «Практичний посібник для розробників тестових завдань».

Видання містить важливі настанови. Починаючи з засадничої:

«Когнітивні тести … слід пристосовувати до мети, з якою вони використовуються, і вони повинні надавати релевантну і надійну інформацію для прийняття відповідного рішення». Тест, який гарантує надійні результати, називають «валідним».

Окрім іншого, валідність забезпечують «задовільні психометричні характеристики тесту та окремих тестових завдань».

Посібник неодноразово наголошує: завдання слід формулювати чітко і недвозначно, відповідно до поточного стану науки і думок спеціалістів з того чи іншого питання. Словниковий запас і мова завдання мають відповідати аудиторії, котрій це завдання адресують.

«Жоден кандидат не повинен мати переваги, чи бути покараним внаслідок особливостей свого життєвого досвіду, що не пов’язаний з предметом оцінки тестом».

«Основна загроза для надійності і водночас валідності тесту – це таке формулювання, яке збиває кандидата з пантелику. Якщо кандидати не чітко розуміють, чого від них очікують, то визначення відповідей скеровується неправильним розумінням, неправильними припущеннями чи просто вгадуванням. У всіх цих випадках відповідь не є відображенням реальних здібностей чи знань кандидата, а радше відображає недбалість розробника тестового завдання».

Приклад невдалого завдання

Рекомендації авторів дослідження повною мірою стосуються і фахового тестування, і аналізу когнітивних здібностей, принаймні у вербальній частині.

Правничий іспит, до матеріалів якого в обох конкурсах теж виникли закономірні претензії, зазнав корегування ще на стадії підготовки учасників до його складання. Кілька разів ВККСУ вносила зміни до переліку завдань, розробленого Національною школою суддів для перевірки знань – загальних у сфері права та зі спеціалізації кожного суду, виключала некоректно сформульовані запитання, уточнювала помилкові.

Інакше з когнітивкою.

12.06.2024 року ВККСУ сформулювала «Вимоги до розробки бібліотеки тестових завдань».

Ключова:

«Розробка унікальної, створеної спеціально на запит Вищої кваліфікаційної комісії суддів України бібліотеки завдань для тестування когнітивних здібностей в межах конкурсних процедур, які здійснюються Комісією, з метою перевірки відповідності кандидатів критерію професійної компетентності [виділення моє – Л.Г.]».

За цим первинним задумом, тестування вербального мислення мало виявити й уміння розуміти заплутані текстові конструкції (в тому числі нормативно-правові акти).

Тоді ж члени ВККСУ наголошували, що питання з тестуванням на когнітивні здібності не вирішене: «немає ані організації, яка наразі є спроможною провести таке тестування за визначеними ВККС параметрами, ані самих готових тестів».

Напрацювання з конкурсів 2016–2019 років до Верховного Суду та Вищого антикорупційного суду нову ВККСУ не влаштовували, бо вони «скоріше орієнтовані на підбір персоналу для бізнес-компаній» і не відображають специфіку «відбору саме кандидатів на посади суддів».

Та вже за кілька місяців від членів ВККСУ пролунали протилежні меседжі: договір на проведення тестування укладено з компанією, що надає такі послуги для системи судоустрою, починаючи з конкурсу до Верховного Суду, тобто з 2017 року; «вони є монополістами в цій сфері. Інших ви не знайдете»; розробника очевидно «все влаштовує».

І дійсно, сайт компанії Psymetrics Ukraine (вона ж ТОВ «Сайметрікс-Україна») розповідає, що вона володіє правами на психологічні інструменти, зокрема, для оцінки рівнів інтелектуальних здібностей кандидатів і співробітників. А в «пакет» вимірювання входять: абстрактно-логічний (A), вербальний (V), математичний (M) і просторовий (S) тести, «об’єднані в готові набори для оцінювання здібностей, необхідних різним професійним групам і функціональним ролям».

Певно, для добору персоналу в бізнесові структури пропозиції Psymetrics є прийнятними. Мало що знаючи про претендентів, ви з’ясовуєте рівні їхніх когнітивних здібностей (для технічного персоналу може виявитися достатньо й нижчого за середній рівень IQ, але на керівні посади ви забажаєте осіб з високим чи дуже високим рівнем коефіцієнту інтелекту).

Водночас Psymetrics може перевірити професійні «скіли» (компетенції) претендентів, скажімо наявність лідерського потенціалу чи спроможності до продажів. І спрогнозувати благонадійність майбутнього працівника за шкалами: конфліктність, егоїзм, моральна незрілість, проблеми з дисципліною, дефіцит мотивації.

Удосконалювати свій «інструмент» для суддівських конкурсів Psymetrics не стала – навіщо, адже замовник не наполягає?!

Насичення завдань правничою специфікою не відбулося. Як і виключення з вербальних тестів рідковживаної чи спеціалізованої (але не юридичної) лексики. Водночас залишилися запитання, що мають кілька варіантів рівнозначних відповідей.

Тож учасники мусили згадувати (чи вгадувати) значення слів, які їм раніше практично не доводилося зустрічати й використовувати. Котрі вочевидь не належать ані до загальновживаних, ані до правничих засобів вербальної комунікацій.

Натомість із готового пакету тестів Psymetrics виключили «зайві» блоки, залишивши тільки абстрактно-логічний та вербальний. Зрозуміло, що індивідууми з ліпше розвиненими математичними та просторовими здібностями опинились у гіршому становищі. Крім того, варіативність похибки при використанні двох шкал вимірювання (замість чотирьох) зростає. Враховувати ці обставини теж не вважали за потрібне. Як і фактор затяжного стресу, зумовленого роками війни.

Чи не було б за таких обставин коректним зміщення вниз «планки» максимально можливого бала шкали Psymetrics – питання риторичне.

Відтак «інструментом» від початку неточним, до того ж розбалансованим, заходилися вимірювати загадковий IQ, сприймаючи його як міру розуму кандидатів.

«Особливості порядку проведення тестування когнітивних здібностей та методика оцінювання його результатів», оприлюднені на сайті ВККСУ, передбачали подвійну систему фіксацію здобутків. Спершу учасникам нараховували стандартизовані IQ-бали, потім відбувалось їх переведення у тестові бали.

Останніх можливо було здобути максимум 60. Конкурсант визнавався таким, що успішно склав етап іспиту, у разі набрання 75 і більше відсотків від указаної кількості балів.

Таким чином, прохідний рубіж дорівнював 45 тестовим балам. Це відповідало 108,75 IQ-балів.

Остання цифра – яскраве унаочнення механістичності застосованого підходу, коли здібності прирівнювалися до рівня знань.

Оскільки в «тестах на інтелект» важливі не так конкретні бали, як можливість зіставлення показників різних індивідуумів, результати вимірювань розподіляють за групами з певним кроком.

Градація рівнів IQ в «інструменті» Psymetrics, застосованому ВАКС

За ранжуванням самої Psymetrics зі 108 IQ-балів починається рівень когнітивних здібностей «вищий за середній».

Отже, якби стояло завдання відсіяти всіх конкурсантів із «середнім рівнем» інтелекту (що, нагадаю, відповідає нормі в людській популяції), прохідний бал мав пройти по межі IQ 107/108.

Уявіть, що довелося відчути учаснику, який перетнув цю межу, але штучного бар’єру в 75% не здолав?

Такий учасник не є вигаданим.

У загальний доступ на сайті ВККСУ викладені результати іспиту в закодованому й декодованому вигляді. За ними нескладно здійснити наступні спостереження.

Серед претендентів до АП ВАКС (уже колишніх) перевірка когнітивки виявила 7 осіб з показниками, що є нижчими за середній рівень.

Поміж них 3 судді місцевих судів, а також по 1 представнику: суддя ВАКС, доцент університету, керуючий партнер адвокатського об’єднання, начальник відділу великого господарюючого суб’єкта.

Серед претендентів на посаду судді першої інстанції ВАКС «інструмент» Psymetrics викрив: осіб із IQ, нижчим за середній – 5, з низьким рівнем IQ – 8.

За усталеними в психології уявленнями, особи з низьким розвитком когнітивних здібностей, здебільше навчаються у спеціальних школах, звичайну можуть закінчити, проте з посередніми результатами.

Особи з нижчим за середній IQ, як правило, не отримують вищої освіти і найбільш комфортно почувають себе у сфері робітничих спеціальностей.

Як усі ці люди оволоділи правничими професіями, займалися судівництвом, наукою, викладанням у вишах, адвокатською практикою, чи прикладною юридичною діяльністю, а в ході конкурсу успішно пройшли перевірку фахових знань – збагнути складно!

Але ж ми повинні вірити в бездоганність методики Psymetrics (монополіста, котрому за запевненнями членів ВККСУ не існує альтернативи).

Водночас серед претендентів до АП ВАКС є той, хто набрав 133 IQ-бали (дуже високий рівень). Тобто людина зі здібностями рівня Стівена Хоукінга чи Білла Гейтса. Щоправда, тест на фахові знання потенційний «геній епохи» виконав на 132 бали і знаходився на 31 позиції рейтингу (тепер він 9-й).

Рейтинги за наслідками 2-х турів

Пертурбації з рейтингами учасників (на прикладі конкурсу до АП ВАКС) після двох турів ще більш показові.

Із порівняльної таблички бачимо: когнітивка витягнула нагору групу претендентів, які за наслідками фахового тестування знаходилися в нижній половині списку.

Так, кандидатів, які після I туру обіймали 2, 3, 4 позиції, замістили учасники, котрі перебували на 19, 31 та 20 місцях.

Тепер уявимо, що прохідного бар’єру в 75% балів за когнітивку не існувало б.

Тоді учасник із результатом 108 IQ-балів, до слова, він доцент кафедри кримінального права Національного юридичного університету імені Ярослава Мудрого, не тільки б не «вилетів», а й зберіг лідерські позиції. Позаяк сумарно отримав 192,7 бала (148 за I етап + 44,7 за когнітику)

Мої бали з двох етапів складають 181,1 (141 + 40,1). Показники тих, хто продовжив участь у конкурсі, варіюють у діапазоні від 162,1 до 198,1 балів.

Приклади результатів невдало розроблених тестів

Згадуваний вище «Практичний посібник» містить графіки – як виглядають підсумки тесту надміру складного (пік у лівій частині) та занадто легкого (пік праворуч).

Повернемося до ілюстрації з узагальненням рівнів IQ претендентів до АП ВАКС – узріємо «двогорбого верблюда». Наявність двох піків там засвідчує: якщо для більшості учасників тест виявився мудруватим, то для певної кількості осіб його проходження складнощів не становило.

Можливо на цьому місці хтось скаже: годі жалітися, готувалася б краще.

Методологія замірів IQ аніяких попередніх тренувань не передбачає. Навіть складати ці тести рекомендують не частіше, ніж раз на півроку. Інакше отримуємо спотворений результат.

Від учасників обох конкурсів мені доводилося чути про способи їхньої підготовки. Спектр – широкий. Від бюджетних застосунків для смартфону до онлайн-тренінгів відомого «експерта з розвитку пам’яті» чи ексклюзивних пропозицій від …Psymetrics.

Не виключаю, що це сайт недобросовісного конкурента, але про боротьбу справжньої «Сайметрікс-Україна» з клонами чути не доводилося.

За таких обставин конкурсант добросовісний неминуче програє більш завбачливому…

Звісно, можна далі вважати, що судді й кандидати в судді «тупі». Та краще взагалі припинити сумнівний експеримент із «тестування щодо когнітивних здібностей», котрий уподібнився до проявів карго-культу.

Поповнити систему правосуддя кваліфікованими, сумлінними та порядними фахівцями вимірювання IQ у нинішніх його формах не допоможе.

Когнітивка, вочевидь, мало корелює з професійними та моральними чеснотами кандидатів. Проте вже на початках добору саме вона «вибила» учасників, які демонстрували максимально можливий, або близький до нього рівень правничих знань. Чим неабияк звузила коло потенційних фіналістів.

Випускника фізмату, який здолав профільні випробування, дискваліфікувати за провалений забіг на стометрівці, либонь, не стали б. То чому на добір суддів мають вирішально впливати випадкові чинники?

Виготовлення ілюстративних матеріалів та підбір цитат – Ігор Гавриленко.