Людина поступається машині в оцінці поведінки злочинців, якщо для оцінки потрібно аналізувати багато параметрів.
Два роки тому ми писали, що криміналістичні програми пророкують рецидивістів навряд чи краще, ніж це роблять люди. У тому дослідженні йшлося про програму COMPAS, яка за якимись шести параметрами розраховувала ймовірність того, що злочинець протягом двох років після звільнення знову зробить щось кримінальне.
З алгоритмом COMPAS змагалися 400 осіб, яких набрали за оголошенням в інтернеті і які у своєму житті з кримінальною криміналістикою жодного разу або майже жодного разу не стикалися - вони читали короткий опис біографії злочинця до звільнення і намагалися вгадати, чи зробив він щось протизаконне протягом двох років після звільнення. Виявилося, що учасники експерименту передбачали поведінку потенційних рецидивістів не гірше алгоритму.
Однак співробітники Стенфордського університету зуміли реабілітувати комп'ютерну програму. По-перше, вони звернули увагу на те, що в тому дослідженні учасник експерименту відразу дізнавався, чи правильно він вгадав рецидивіста - адже в реальній практиці ні судді, ні співробітники комісій з умовно-дострокового звільнення далеко не відразу дізнаються, чи правильно вони розсудили щодо злочинця. По-друге, в змаганні з алгоритмом не робили відмінностей між злочинами - потрібно було припустити, чи скоїть злочинець взагалі щось протиправне.
У новому дослідженні експеримент провели в декількох варіантах. В одному випадку - точно так само, як минулого разу, а в іншому випадку умови досвіду дещо змінили: тепер і алгоритм COMPAS, і люди оцінювали ймовірність тільки насильницьких злочинів, а людям, крім того, не повідомляли після кожної переглянутої справи, чи правильно вони вгадали (або не вгадали) в ньому рецидивіста. І якщо в першому випадку люди і алгоритм вгадували, як і раніше, більш-менш однаково (з імовірністю 83% у людей і 89% у COMPAS), то в другому випадку точність людських передбачень сильно просідала - до 60%.
Очевидно, без зворотного зв'язку людина просто не могла скорегувати те, як вона оцінює поведінку інших, так що і помилок виходило більше. Крім того, як пише портал Science News, учасники експерименту були схильні переоцінювати схильність злочинців саме до насильницьких злочинів. Тобто якщо мова йде саме про щось, що пов'язано з насильством, то цього ми боїмося сильніше, і тому схильні бачити небезпеку таких злочинів частіше, ніж справжні рецидивісти здійснюють їх на ділі.
Нарешті, в третьому експерименті замість програми COMPAS використовували інший алгоритм, який може аналізувати більше параметрів - наприклад, чи зловживає потенційний рецидивіст алкоголем або наркотиками, яка у нього освіта, чим він займається крім протизаконної діяльності, тощо. Як говориться в Science Advances, якщо потрібно було аналізувати кримінальні справи за невеликим числом параметрів, то люди вгадували рецидивістів з тією ж точністю, що і машина, але якщо число параметрів збільшувалося, то машина працювала точніше: серед тих, кого учасники експерименту передрекли повторне тюремне ув'язнення, у в'язниці опинилися лише 58%, а серед тих, кому алгоритм передбачив в'язницю, туди вирушили 74%.
Так що, з одного боку, у криміналістичних алгоритмів, що передбачають поведінку, є якесь майбутнє. З іншого боку, не будемо забувати, що противниками алгоритмів в експериментах були люди, які ніколи ні в яких умовах з криміналом не стикаються - серед них не було ні суддів, ні співробітників органів опіки, ні співробітників правоохоронних органів. Нарешті, 74% - все-таки не така вже велика точність, якщо мати на увазі, що тому, кого помилково записали в майбутнє рецидивісти, це може помітно зіпсувати життя.