Рівність у регламентах, асиметрія на практиці: дебютні уроки конкурсу в апеляцію

Чому конкурс до апеляційних судів, який мав стати зразком прозорості, обернувся понад півсотнею судових позовів?

Як відомо, з вересня 2023 року в Україні триває масштабний конкурс на посади суддів апеляційних судів. Перший, від часу достроково згорнутого у 2019-ому, конкурс до апеляції, уже став епіцентром уваги правничої спільноти. Посилена цікавість до нього не випадкова та обумовлена як тим, що за загальним правилом саме на апеляційні суди покладено завдання виправлення помилок відправлення правосуддя судами першої інстанції, так і тим, що для багатьох категорій спорів саме рішення апеляційних судів стануть фіналом пошуку справедливості (звісно ж з урахуванням драконівських касаційних фільтрів, які ще треба володіти майстерністю проходити). Беззаперечним є те, що якість проведення конкурсу безпосередньо визначає якість майбутнього корпусу суддів апеляційних судів. Незважаючи на багаторічний доробок конкурсних процедур, Вища кваліфікаційна комісія суддів України (надалі також «ВККС», «Комісія») обрала шлях новацій та експериментів: від обов’язкових для кандидатів когнітивних тестів до поділу вакансій на окремі «черги». Утім чи не найбільший резонанс викликала проміжна, але болюча (як з’ясувалось) стадія конкурсу: виконання практичного завдання, яке мало б стати об’єктивним екраном професійної майстерності, однак натомість продовжує розкривати системні прогалини в організації конкурсу.

Методика-2024: прозора формула чи ілюзія?

Регламентами закріплено, що здатність практичного застосування кандидатом знань у сфері права у суді апеляційної інстанції встановлюється за сукупністю таких складових: 1) вміння застосовувати знання у сфері права; 2) навички юридичного письма; 3) навички правничої аргументації[1]. Завдання для іспиту розробляється Національною школою суддів України на основі судової справи або судових рішень у справі відповідної спеціалізації, які набрали законної сили, не були змінені або скасовані за результатами перегляді вищим інстанціями. Також варто додати про існування двох типів практичних завдань:

Тип 1 – модельна судова справа із сукупністю документів та достатніми даними, на підставі яких учасник повинен підготувати модельне судове рішення.

Тип 2 – два модельні судові рішення, що складаються з вступної, описової (окрім кримінального судочинства) та частково мотивувальної частини, на підставі яких учасник повинен продовжити їх викладення.

На папері все виглядає напрочуд новаторсько-обʼєктивним та зразковим.

У межах триваючого конкурсу Комісія обрала тип 2 практичних завдань для кандидатів у апеляції та навіть затвердила Методичні вказівки для оцінювання практичних завдань, виконаних кандидатами на посади суддів апеляційних судів під час кваліфікаційного іспиту (тобто вперше у історії відреагувала на запит суспільства стосовно прозорості процедур відбору суддів та створила умови для обʼєктивного оцінювання за низкою критеріїв)[2]

У науковій літературі такий підхід називають «criterion-referenced assessment»[3], коли кожен бал прив’язують до заздалегідь оприлюднених дескрипторів. Тут варто додати, що існує декілька освітніх практик (підходів) до оцінювання робіт. Серед найпоширеніших виділяють: критеріальний, нормативний та холістичний. Пропоную коротко ознайомитись з сутністю кожного з підходів для того, щоб збагнути яким шляхом пішла ВККС при оцінюванні кандидатських робіт.

У теорії оцінювання найпоширеною альтернативою критерійному підходу є «norm-referenced» (нормативний) підхід. Якщо критеріальна модель порівнює роботу кандидата з попередньо оприлюдненими дескрипторами успішності, то нормативна модель порівнює результати між самими учасниками і ранжує їх відносно «нормової» групи. Результат не показує, що саме вміє кандидат, а лише те, наскільки він випереджає інших. Як ви встигли здогадатись, такий підхід не є доцільним для застосування при відборі суддів, оскільки зміна складу групи змінює поріг проходження, навіть якщо робота кандидата не змінилася.

Холістичний підхід до оцінювання — це спосіб, за якого робота кандидата розглядається як цілісний продукт, а оцінювач виставляє загальний бал, спираючись на загальне враження про рівень виконання. Замість того, щоб розкладати роботу на окремі компоненти (структуру, аргументацію, стиль, грамотність) і ставити бали за кожен, екзаменатор оцінює наскільки добре робота, у її неподільності, виконує поставлене завдання та відповідає очікуваному стандарту професійної якості. Ключовою особливістю цього підходу є те, що на оцінювання витрачається менше часу та в членів екзаменаційної комісії є повна дискреція на власне субʼєктивне сприйняття роботи. Недоліком цього підходу прийнято вважати меншу діагностичність, тобто кандидатам важко зрозуміти у чому саме недолік роботи, та складність апеляції, адже довести що робота «варта більшого» складніше через відсутність підсумків за компонентами.

Можна вважати так, що до моменту закріплення на нормативному рівні Методичних вказівок з оцінювання робіт кандидатів у апеляційні суди, у роботі ВККС переважав холістичний підхід до оцінювання робіт. Відтак судовий реєстр майоріє великою кількістю відмов за позовами кандидатів на посаду судді з посиланням на абсолютну дискрецію ВККС в оцінюванні робіт претендентів на суддівські посади.

Однак з 2024 року ситуація докорінно змінилась – Комісія затвердила Методичні вказівки, якими закріплені чіткі дескриптори оцінювання робіт. Дескрипторами прийнято називати короткі словесні описи того, яких саме якостей чи дій має досягти кандидат, щоб отримати певний бал за кожним критерієм. Вони «прив’язують» показник успішності до спостережуваних результатів роботи й тим самим роблять оцінку відтворюваною й контрольованою. Академічні рекомендації формулюють це так: «дескриптори описують якості, потрібні для демонстрації кожного стандарту в межах кожного критерію».

Чи є Методичні вказівки дескрипторами?

Методичні вказівки-2024 містять таблицю з чотирма блоками критеріїв («Мотивувальна частина», «Резолютивна частина», «Стилістика», «Орфографія й пунктуація»), де поруч із ваговими балами подано рядки «Кандидат демонструє…». Саме вони і є словесними дескрипторами. Відтак Методичні вказівки фактично утворюють повну аналітичну рубрику: кожен критерій (структурний елемент рішення) має свою шкалу балів і вербальний опис рівнів виконання. Додаткова примітка дозволяє Комісії відхилятися від ваги окремих елементів не більш ніж на 10 %, тобто рамки залишаються формально фіксованими.

Не можна не визнати, що запровадження критерійного підходу є справжньою перемогою над субʼєктивізмом при оцінюванні робіт. Тестологи єдині в думці, що деталізовані дескриптори зменшують розбіг оцінок між екзаменаторами, особливо коли вони проходять спільне калібрування. Комісія зробила необхідний крок: узгодила перелік критеріїв, розписала вагу кожного пункту. Технічно це відповідає доброму стандарту «modified Angoff», рекомендованому для ліцензійних іспитів у медицині й праві[4].

Однак, як виявилось на практиці, публічне закріплення дескрипторів не допомогло ВККС валідувати результати перевірки кандидатських робіт. Касаційний адміністративний суд потопає в позовах кандидатів, які намагаються збагнути що не так з їхніми роботами і чому виконання базових вимог процесуального закону (в кожному з них закріплені вимоги до судового рішення), а також Методичних вказівок-2024, не принесло подолання мінімального прохідного барʼєру за належно виконане практичне.

А для цього є декілька досить обʼєктивних причин:

по-перше, для того, щоб критеріальний підхід спрацював, усі екзаменатори повинні були знати дескриптори напамʼять, пройти спеціальне навчання із застосування Методичних вказівок;

по-друге, дескриптори мають спиратися на глибоку предметну експертизу самих екзаменаторів. Поділ на спеціалізації потрібен не для того, щоб ускладнювати роботу Комісії, а тому що кожна галузь права має свої особливості, складнощі та нюанси.

по-третє, правила не містять процедури обов’язкової дворазової перевірки та статистичної звірки балів між оцінювачами. Без виміру міжоцінювальної надійності «inter-rater reliability» кожен екзаменатор залишається у власній «картині світу», а розбіжності приховуються середньою арифметикою;

по-четверте, ключі (правильні на думку розробника - Національної школи суддів України, вирішення завдань) залишаються закритими й недоступними для кандидатів. Якщо учасник не бачить еталонної логіки розв’язання справи, залишається лише загальна критика всієї процедури.

У підсумку зафіксовані на папері критерії не перетворилися на об’єктивну лінійку: вони "загубились" у повітрі між різними завданнями, різними колегіями та різними уявленнями про належний рівень. Звідси й хвиля позовів, у яких кандидати шукають зрозумілу відповідь, чому ж їхнє рішення виявилося недостатнім для прохідного мінімуму. І справедливо шукають, оскільки зміна Комісією підходів до оцінювання робіт: від холістичного до критеріального, повинна мати наслідком втрату «дискреційного щита» щодо виставлення балів: кожен бал тепер треба пояснити на відповідність або невідповідність до визначеного в методичці критерію. Інакше критерії працюють як прозорий, але деформований екран, що пропускає світло, спотворюючи тіні.

Коли правила сильніші за розсуд?

Повернімося на вісім років назад. Конкурс до Верховного Суду був менш технологічним, однак більш симетричним. Починаючи з практичного етапу, тобто з лютого 2017 року, кожен кандидат отримував повну «модельну судову справу» зі зведеним пакетом процесуальних документів: позов, пояснення сторін, докази, судові рішення судів першої та апеляційної інстанцій. Завдання полягало в тому, щоб за п’ять годин підготувати мотивувальну та резолютивну частини судового рішення згідно зі спеціалізацією майбутнього касаційного суду. Інакше кажучи, випробування відтворювало реальну роботу судді суду касаційної інстанції, де одночасно потрібно застосовувати процесуальні норми та норми матеріального права, формувати чітку правову позицію. Жодних наводок чи підказок у вигляді усталених правових позицій кандидатам не пропонувалось (на відміну від конкурсу до апеляційних судів).

На рівні внутрішніх нормативних актів тоді не існувало жодних затверджених методичних вказівок, які б регламентували, як саме члени ВККС мають оцінювати ці рішення. Написання судового рішення вимагало від кандидата демонстрації одразу кількох груп компетентностей: матеріально-правової обізнаності, процесуальної грамотності, уміння логічно структурувати текст і коректно формулювати висновки. Водночас, екзаменатори мали широке поле для суб’єктивної інтерпретації як «достатньої» аргументації, так і грамотності.

Відтак поєднання двох факторів: першого типу практичного завдання та відсутності офіційно затверджених дескрипторів дає підстави для висновку про існування холістичного підходу до оцінювання робіт кандидатів під час конкурсів до Верховного Суду 2016, 2018 рр. та інших конкурсів. Кожен екзаменатор оцінював роботу «інтегрально», керуючись власним досвідом і професійною інтуїцією. Формально всі керувалися єдиними пороговими балами, проте фактично кожен мав власне уявлення про те, яким має бути «достатній» рівень рішення суду касаційної інстанції. То ж саме це і є дискрецією субʼєкта владних повноважень.

Натомість, на відміну від означеного підходу, конкурс до апеляційних судів ґрунтувався на поєднанні категорично інших факторів: тип практичного завдання не передбачав наявності модельної справи чи можливості користування нормами законодавства під час іспиту, Комісія закріпила дескриптори – Методичні вказівки-2024.

Це перевело процедуру з холістичної площини у критеріальну: екзаменатор повинен присвоїти бал, посилаючись на конкретний опис рівня («кандидат демонструє здатність формувати правову позицію, послідовно обґрунтовуючи висновки» тощо), а відхилитися від ваги пунктів може не більш ніж на десять відсотків.

Отже, у конкурсних процедурах 2016-2023 рр. Комісія справді діяла в полі широкої експертної свободи, бо не мала описових рівнів оцінки. Прийнявши у 2024 році Методичні вказівки з фіксованими дескрипторами та граничним ±10 % відхиленням, ВККС добровільно замкнула власну дискрецію в жорсткі рамки критеріального підходу. Це означає, що у судових спорах Комісія вже не може посилатися на «оціночну свободу». Орган (субʼєкт владних повноважень) сам установив правила, які деталізують процес перевірки, і тепер зобов’язаний довести, що кожна виставлена сума балів відповідає вказівкам, затвердженим саме в цілях проведення даного іспиту (належне урядування). Що стосується доведення до ідеалу критеріального підходу, то видається доцільним: забезпечити перехресне оцінювання між колегіями однієї спеціалізації, створити можливість "апеляційного вікна" до пленарного складу Комісії (яке, між іншим, існувало раніше, однак було законодавчо скасовано прямо під час конкурсу в апеляційні суди), на регулярній основі проводити навчання для членів Комісії із однакового застосування дескрипторів, закріплених в Методичних вказівках-2024 та наступних подібних документах.

Окремим і надзвичайно показовим аспектом конкурсу в апеляції стало масове недопущення до наступного етапу кандидатів, що впродовж багатьох років здійснюють правосуддя і мають беззаперечний професійний досвід. Ідеться про суддів, які щодня ухвалюють рішення, що проходять перевірку в апеляції та касації, мають усталений стиль юридичного письма й добре розуміють реальні потреби судового процесу. Однак саме вони виявилися найбільш вразливими на стадії практичного завдання, де від них вимагалося не повне рішення, а фрагмент, часто відірваний від логіки судового провадження, виконаний без можливості посилатись на норми закону та в умовах, далеких від реальної роботи судді. Це змушує поставити запитання: чи оцінює така система насправді професійну придатність, чи скоріше здатність «підлаштуватися» під штучну форму випробування?

Один іспит – два світи

Ще одним важливим, на моє переконання, дебютним уроком конкурсу в апеляції є відсутність симетрії у загальних апеляціях. Формально претенденти погодились взяти участь в одній номінації «загальна юрисдикція». Однак на рівні практичного вони розділяються на два табори: одні пишуть вирок у кримінальній справі, в той час як інші – рішення у цивільній. Кожну групу читає окрема трійка членів ВККС.

Уявімо марафон. Половина спортсменів біжить асфальтом. Решта пробирається піщаною дюною. Фінішні ворота ті ж самі, секундомір один, але коефіцієнт опору ґрунту – різний. Формально критерії однакові, але будь-яка система валідна настільки, наскільки валідний її вхідний матеріал. Якщо кандидат А аналізує величезну кількість нормативних актів цивільного законодавства, здійснює аналіз питання належності відповідача та ефективності способу правового захисту, а кандидат Б аналізує умисел у вбивстві чи крадіжці, то пряма порівняльна шкала не працює.

У підсумку кандидати з двох несумісних треків претендують на одні й ті самі крісла у загальних апеляціях, адже на етапі конкурсу ніхто не розрізняє в яку саме палату претендує конкретна людина. Їхні цифри в таблиці виглядають зіставними, та насправді відбивають різний обсяг зусиль і різний рівень змістовної складності. Вибірковість завдань і розділення колегій створюють прихований дисбаланс: хтось може програти конкурс не тому, що гірше володіє правом, а тому, що стартував на більш «в’язкому ґрунті».

Продовжу думку далі. Кримінальне й цивільне судочинство керуються різними джерелами права, різною процесуальною логікою та різним набором доктринальних інструментів. Суддя-криміналіст щодня працює з інститутами складу злочину, доказування умислу, міри покарання й презумпції невинуватості; у цивілістиці ж центр ваги зміщується до диспозитивності сторін, балансу договірної волі й охорони майнових інтересів, складної мережі спеціальних законів і багатошарової практики (не завжди єдиної) Верховного Суду. Перепризначити фахівця, який роками відточує відчуття «in dubio pro reo», у простір, де діє презумпція добросовісності сторін та принцип змагальності з інакшим розподілом тягаря доказування та власне, стандарту доказування, означає фактично поставити його у ролі «новачка» з перших днів роботи палати.

Таким чином, коли спеціалізація кандидата не збігається з фактичним колом майбутніх справ, це не особиста проблема його адаптації, але й системний ризик для якості правосуддя та ефективності перегляду судових рішень в апеляційному порядку. Звісно, що з часом все може удосконалитись і забезпечити ісинну справедливість процедур відбору, однак навіщо зайві експерименти на людях: як кандидатах, так і майбутніх учасниках судових проваджень в загальних апеляційних судах.

Чи не доцільніше повернутись до раніше сформованої і вже апробованої практики складання кандидатами в загальні суди іспиту з одночасною перевіркою знань та навичок з обох (кримінальної та цивільної) спеціалізацій, яка була реалізована в доборі 2017 року? Це забезпечить рівність умов та обрання спеціалістів, здатних найкраще орієнтуватись як в цивільній так і кримінальній спеціалізаціях.

Чому варто виправити дисбаланс зараз?

По-перше, конкурс до апеляцій 2023 року увійде в історію не лише як дебютний, але й, на жаль, скандальний. Проведений аналіз засвідчує, що рівність, урочисто закріплена в регламентах, поки що не втілилася в рівні умови та справедливу процедуру. Якщо ці уроки не будуть враховані вже зараз, система неминуче повторить власні помилки у найближчому майбутньому.

По-друге, у кінці 2024 року стартував добір до місцевих судів. Якщо ситуацію не виправити, лавина позовів лише наростатиме. Варто памʼятати, що репутаційний капітал реформи правосуддя доволі крихкий.

По-третє, ключовим завданням будь-якого конкурсу є не лише відібрати найкращих, але й зробити це переконливо. Тобто так, щоб у самих кандидатів, правничої спільноти та суспільства не залишалося відчуття гри за нечесними правилами. Кажучи іншими словами: формальна законність має супроводжуватися відчутною легітимністю та почуттям справедливості.

Виправити дисбаланс зараз, означає зберегти фундамент правосуддя завтра.