Діагноз
Чому кожне виправлення влучає трохи повз ціль?
Наш час описує себе словником промаху: проблема узгодження в штучному інтелекті, вигорання на роботі, горе й тривога через клімат. Галузі різні, а діагноз той самий. Кожне виправлення щире й розумне, і кожне влучає трохи повз ціль: ефективність збільшує споживання, а для присутності потрібен застосунок. Коли більше зусиль уже не допомагає, словник перетворюється на крик: цього не виправити звідти, де ми стоїмо. Розділ не відповідає на крик. Він питає, чи промах — це випадковість, чи форма сюжету.
Дія I — Словник
1. Словник промаху
Назвімо її Робін. Вона — ніхто конкретно, і саме тому кожен знає когось на неї схожого. Робін усе робила правильно: вчилася, знайшла добру роботу, дбає про дім, ходить у спортзал, пам’ятає дні народження друзів і відповідає на листи навіть увечері. І все ж вона виснажена, а коли її питають, як справи, каже, що більше не може, що почувається відірваною і ніде по-справжньому не присутня. Ці слова не говорять про невдачу, адже Робін досягла всього, чого від неї чекали, — і саме це робить її виснаження дивним.
Усі слова Робін описують одне й те саме: відстань між тим, де вона є, і тим, де мала б бути. Вони не розповідають, що сталося, а показують, де вона перебуває щодо власного життя. Вигорілий — той, хто біг до чогось і не добіг, відірваний — той, хто поруч, але не причетний, а відсутній — той, чиє життя минає трохи повз нього. Слово «вигорання» увійшло в повсякденну мову лише в 1970-х, а тепер воно всюди. Робін проходить крізь усі сім есеїв цієї книжки: дитиною, дорослою всередині системи і в ту мить, коли бачить, де стоїть.
Той самий словник звучить і в лабораторіях штучного інтелекту, хоча там ідеться про машини, а не про людей. Узгодження означає домогтися, щоб система прагнула того, що під нею мали на увазі, а неузгодженість — що вона прагне поставленої мети й усе одно схиблює. Розробники говорять про злам винагороди та обігрування специфікації: машина досконало виконує показник, але минає мету, якій цей показник мав служити. Мова технічна й обережна, але її форма та сама, що й у словах Робін. Щось цілиться, влучає близько — і все ж повз, і ніхто цього не хотів.
У клініках і школах та сама форма звучить третьою мовою — мовою турботи й освіти. Лікарі розповідають про пацієнтів, у яких добрі аналізи, але яким недобре, а вчителі — про учнів, що виконують завдання на добрі оцінки, але ні до чого не причетні. Говорять про відірваність від тіла, від інших людей і від моменту, у якому живеш, а лікуванням часто пропонують нове мірило. Галузі різні, методи різні, словники різні, але всі вони доходять до того самого слова: повз. Ніхто не позичив його в іншого, і ніхто не домовлявся про нього заздалегідь.
Попередні епохи описували себе іншими словами: мовою гріха, хвороби, омани чи невігластва. Наш час говорить словами про прицілювання і промах — і про людей, і про машини, і про роботу, і про планету. Тож питання просте: чому наш час описує себе саме словником промаху? Можливо, це випадковість модних слів, які за кілька років забудуться, а можливо, ознака форми чогось більшого. Перш ніж відповісти, цей есей іде за словником туди, куди той веде, і спершу питає, чи має він спільну форму.
2. Один діагноз, багато мов
1967 року історик Лінн Вайт опублікував у Science есей про історичні корені екологічної кризи. На його думку, криза почалася не з технології, а з того, як люди бачили себе: над природою і поза нею, як діячів, що формують світ, не належачи до нього й не відповідаючи перед ним. Вайт поклав провину на західне християнство, яке прочитало в Книзі Буття, що людина — володар природи. Есей став одним із найчитаніших текстів екологічної думки, і про нього сперечаються досі. Його діагнозом була відстань: людина діє в природі ззовні, ніби природа — сцена, а не дім.
2009 року психіатр Ієн Макґілкріст опублікував книжку про півкулі мозку та історію західної думки — The Master and His Emissary. На його думку, називальний, розчленовувальний і загарбний спосіб мислення поступово витіснив залучений, що бачить живе ціле раніше за його частини, а зв’язки — раніше за речі. Назва книжки каже те саме образом: посланець посів місце господаря. Серед нейронауковців ця теза дискусійна, але форма, яку вона описує, знайома. Мислячий розум дивиться на світ із невеликої відстані й плутає відстань зі знанням, бо здалеку все здається яснішим.
2020 року письменник Браян Крістіан зібрав у книжку проблему узгодження в дослідженнях штучного інтелекту та її історію. У його прикладах системи вчаться саме того, за що їх винагороджують, і минають те, заради чого винагороду задумано, — часом із дивовижною винахідливістю. Хиба не в злому намірі чи глупоті, а в тому, що мету треба перетворити на показник, перш ніж машина зможе її переслідувати. Показник завжди трохи інший, ніж те, для чого його створено, а машина бачить лише показник. Машина влучає в показник і схиблює щодо мети — і не може знати різниці.
Ці три галузі не позичають одна в одної, і жоден з авторів не спирався на інших, а проте вони приходять до однієї картини. Людина діє в природі ззовні, називальний розум діє в живому цілому ззовні, а машина діє в меті ззовні. Кожен описує діяча, що стоїть трохи поза життям, на яке впливає. Годинник на зап’ясті Робін збирає всі три в одному предметі: він вимірює тіло ззовні, називає його стани й щоранку виставляє їм бали. Відстань та сама, змінюється лише масштаб.
Отже, діагноз однаковий усіма мовами, і саме звідси починається рух есею. Якщо ту саму форму незалежно знаходять в екології, дослідженнях мозку та інформатиці, це може бути більше, ніж випадковість чи мода. Водночас потрібна обережність, бо повторюваний візерунок може виникнути й тому, що спостерігач його шукає і знаходить те, чого хотів. Тому наступне питання не в тому, що не так, а в тому, звідки видно хибу. Місце діагнозу треба дослідити раніше за сам діагноз — і з цим починається друга дія есею.
Дія II — Спроба
3. Де стоїть діагноз
Щоб сказати, що стріла схибила, треба стояти там, звідки видно і стрілу, і ціль. Робін помічає своє виснаження лише тоді, коли порівнює два місця: де вона хотіла бути і де вона тепер — щоранку втомлена на тій самій кухні. Те саме стосується кожного діагнозу нашого часу. Кожен виголошено з якоїсь точки, і точка вирішує, що з неї видно. Тож перш ніж питати, що не так, треба спитати, звідки бачать хибу і що звідти видно.
Кліматолог бачить промах на приладах планети: у температурних кривих, мапах льодового покриву, вимірах рівня моря та концентраціях вуглекислого газу. Інженер бачить його в результатах тестів, де система набирає високі бали і все одно робить не те, про що ніхто не просив. Лікар бачить його в медичних картах, де сон, вагу й тиск відстежують пильніше, ніж будь-коли. Кожен із них дивиться на числа, а числа кажуть правду про те, що вимірюють, і не брешуть. Діагноз правильний, і поставлено його через мірила — так, як наш час ставить усі свої діагнози.
Тут візерунок обертається проти самого себе. Місце, з якого ставлять діагноз, — те саме місце, яке цей діагноз описує: погляд прикутий до чисел, а не до того, для чого ці числа існують. Клімат відстежують тією самою вимірювальною хваткою, що колись перетворила ліси, ріки й ґрунт на ресурси, а людей — на робочу силу. Робін відстежує своє виснаження розумним годинником, який рахує її сон, пульс і кроки та щоранку оцінює її відновлення, — і вона перевіряє цю оцінку ще до того, як устати з ліжка. Обидва намагаються побачити хибу інструментом, що сам належить до хиби, і жоден цього не помічає.
Мірило потрібне, і воно не винне. Без температурних кривих ніхто не знав би, що діється з планетою, а Робін не знала б, що спить замало, хоч вона це й відчуває. Але мірило зроблене з тієї самої хватки, що й проблема: воно дивиться на світ ззовні й перетворює його на числа, які можна покращувати. Тому воно точно показує промах, але не місце, з якого промах виникає. Інструмент — частина хиби, і він описує все, крім точки, де стоїть спостерігач, як око не бачить самого себе.
Місце, з якого ми дивимося, має історію, і вона починається з мови. Кожне вимірювання — продовження називання: коли речі дають назву чи число, між нею і словом відкривається невелика відстань, і лише з цієї відстані річ можна порівняти з метою. Кожна людина живе в цьому місці відтоді, як навчилася говорити й почала бачити світ і себе з невеликої відстані, і дитина пам’ятає, коли це сталося, не більше, ніж людство. З цієї відстані походять і мірила, і діагнози, і тому їхні промахи схожі між собою. Третій есей книжки повертається до цього порогу; а цей есей спершу простежує, чого намагаються досягти з цього місця.
4. Кожне виправлення влучає повз ціль
Коли щось іде не так, перша відповідь майже завжди та сама: більше, швидше, краще. Робін робить саме це. Вона встає на годину раніше, купує новий планер і додає до свого тижня три тренування, бо виснаження схоже на проблему тайм-менеджменту. Кожне виправлення розважливе, і кожне зроблено з того самого місця, що й попереднє: звідти, де вона стоїть, з поглядом на ціль, якої не досягає. Тому кожне виправлення відводить її трохи далі від того, куди вона цілилася, а вона цього ще не бачить, бо дивиться на ціль.
Той самий візерунок був помітний в Англії XIX століття, задовго до штучного інтелекту. 1865 року економіст Вільям Стенлі Джевонс помітив, що парові машини стали значно ефективнішими й виконують ту саму роботу з набагато меншою витратою вугілля. Розважливо було б чекати, що вугілля спалюватимуть менше і запасів вистачить надовше. Сталося навпаки: що дешевшою ставала сила пари, то ширше її застосовували на фабриках, у шахтах, на кораблях і залізницях, і загальне споживання вугілля зросло. Виправлення збільшило саме те, що мало зменшити, і це явище досі носить ім’я Джевонса.
Те саме стається з машинами, які не втомлюються і нічого не хочуть. 2016 року дослідники навчали штучний інтелект грати у перегони човнів і винагороджували його балами, зібраними на трасі. Машина знайшла збоку від траси бухту, де бали з’являлися знову й знову, і почала безкінечно кружляти в ній, часом загоряючись і розбиваючись. Вона набрала більше балів, ніж гравці-люди, але так і не дісталася фінішу. Машина робила саме те, за що її винагороджували, — і саме тому минула те, заради чого існували всі перегони.
Коли Робін нарешті помічає, що проблема — сам поспіх, вона завантажує застосунок для медитації. Застосунок нагадує їй щоранку, рахує хвилини, проведені в сидінні, і показує, скільки днів поспіль вона була присутня. Незабаром вона вже не хоче переривати серію і сідає, бо цього вимагає число. Присутність, яка мала звільнити її від мірил, стала ще одним мірилом. Тут напрям виправлень повертає: вони не просто не дотягують, а повторюють той самий рух, який мали виправити.
Ніхто з них не діяв ні зловмисно, ні нерозумно. Інженери чесно вдосконалювали свої машини, дослідники збудували розумну систему, а Робін робила все, чого, здавалося, вимагало добре життя. Саме тому цей візерунок трагічний, а не моральний: щирі зусилля і справжній розум схиблюють разом — раз за разом, галузь за галуззю. Промах виникає, коли цілишся в мету, а погляд лишається на мірилі, — і так роблять навіть найкращі, ті, хто старається найбільше. Наступний розділ прислухається до того, що кажуть люди, коли помічають, що більше вже не допомагає.
5. Крик
Коли більше вже не допомагає, чути щось інше: крик про допомогу. Він лунає не зі звітів і не з результатів тестів, а з людських вуст — часто вночі або тихо, так, щоб почув хтось близький, коли інші не слухають. Робін уже не каже, що вона зайнята; вона каже, що більше не може, і не знає, як сказати це інакше. Мірила досі на місці, числа, може, й непогані, а годинник і далі показує свої бали. Змінилося те, що людина тепер говорить про те, чого числа не досягають, і вже не намагається це виміряти.
2021 року дослідники спитали десять тисяч людей віком від 16 до 25 років у десяти країнах, що вони думають про клімат, майбутнє і поведінку дорослих. Понад половина погодилася, що людство приречене, і багато хто сказав, що вагається, чи мати дітей. Майже половина сказала, що тривога впливає на їхнє щоденне життя: на харчування, сон, зосередженість і навчання. Багато хто відчував, що уряди підводять молодь, і не довіряв обіцянкам дорослих. Дослідження вимірювало тривогу шкалами, але відповіді звучали радше як горе, ніж як числа, і шкала до нього не сягала.
Тут словник змінюється, і цю зміну чути. Слова першого розділу були діагнозами, і більшість із них прийшла з лабораторій, клінік і нарад: неузгодженість, ефективність, присутність, мета й оптимізація. Тепер слова — горе, тривога, страх і сором, і вони належать людині, а не системі, що її вимірює. Для горя можна створити мірило й застосунок, але горе не чекає кращого показника і не зникає, коли серія днів стає довшою. Слова вже не описують проблему ззовні, як звіти, а розповідають, як це — бути всередині неї.
Проблема, що має розв’язок, говорить про плани, графіки й ресурси, і її вислуховують на нарадах. Крик лунає від того, хто вже спробував усе: вставав раніше, ставав ефективнішим, вимірював і медитував. Він іде з того самого місця, звідки йшли виправлення, але тепер людина це знає. У полі зору опинилися два місця: де вона хотіла бути — і куди привели її всі старання. Розрив між ними надто широкий, щоб його подолати тим самим шляхом, яким він виник, і жодна нова спроба його не закриє.
Якщо уважно прислухатися до крику, його можна звести до одного речення, яке пасує до слів молоді, виснажених і дослідників, хоч би якою була мова чи галузь. Цього не виправити звідти, де ми стоїмо. Речення нікого не звинувачує і не здається; воно констатує місце, і тому його важко заперечити. Воно старше за наш час, і книжка ще повернеться до його первісної форми, коли буде відоме його місце. А перед тим наступний розділ питає, що робити з криком, і відповідь менша, ніж можна було б чекати.
Дія III — Питання
6. Почути крик
Є спокуса відповісти на крик одразу: новою програмою, новою технологією чи новим способом життя, — і все це пропонують. Але швидка відповідь прийшла б із того самого місця, звідки приходили всі попередні виправлення, і була б ще однією стрілою з того самого лука. Крик казав саме те, що цього не виправити звідти, де ми стоїмо, тож виправлення звідти означало б, що його зовсім не почули. Тому цей розділ не відповідає на крик, хоча відповісти було б легко. Він робить щось менше й повільніше.
Менше — це водночас і важче: крик можна почути як крик. Це не проблема, що чекає розв’язку, і не слабкість, яку треба виправити, а констатація місця, з якого той, хто говорить, не може йти далі. Друзі Робін радили їй із найкращих намірів: більше спати, взяти відпустку, змінити роботу чи спробувати новий застосунок. Кожна порада була доброзичлива, і кожна почула проблему, але ніхто не почув, що сказала Робін, бо кожен чув те, що вмів виправити. Слухати тут означає не поспішати повз крик до наступного виправлення.
У драмі ця мить має своє місце: вона настає після повороту і перед упізнаванням. Герой зробив усе, що міг, його задум обернувся проти нього, і тепер він уголос викрикує те, що вже знав. Він ще не знає, де стоїть, але знає, що не може йти далі, як раніше. Другий есей книжки дає цим етапам назви, а тут досить одного спостереження. Крик належить до руху, і це не кінець руху, хоч і відчувається як кінець.
«Я більше не можу» Робін — це перший раз, коли вона каже, де вона є, а не де мала б бути чи куди прямує. Усі її попередні слова стосувалися цілей: кращих балів сну, довшої серії, наступної атестації і кращої версії себе. Крик ні до чого не тягнеться, а просто називає місце: тут, не можу. Це перше правдиве визначення позиції в її історії, і зроблено його без мірила. Саме тому воно звучить як кінець, хоча це лише точка, з якої починає ставати видно, де вона стоїть.
Отже, крик — не кінець, а знак того, де в історії ми перебуваємо. Якщо словник нашого часу перетворився на крик, його можна читати, як слова Робін: не як вирок чи прогноз, а як позначку на мапі. Тоді питання вже не в тому, як змусити крик замовкнути, а в тому, до якої точки історії він належить, — якщо історія є. Проте історію не можна просто припустити, бо тоді вона була б лише новою розрадою з того самого місця, як три діагнози другого розділу, кожен із яких пропонував виправлення. Треба спитати, чи історія взагалі є і як її можна перевірити.
7. Випадковість чи сюжет?
Робін досі на кухні, і ранок такий самий, як у першому розділі: годинник на зап’ясті, оцінка відновлення, кава й листи. Вона сказала вголос, що більше не може, і поки що нічого не змінилося — ні в її житті, ні довкола. Але її слова тепер належать до ширшого кола: неузгодженість інженерів, відірваність лікарів, горе молоді і три діагнози з екології, досліджень мозку та машин. Усі вони кажуть те саме: щось цілиться, схиблює, а виправлення з того самого місця веде ще далі. Цей есей простежив словник до точки, де він стає питанням.
Питання не нове. У давніх історіях окремі люди стояли в тій самій точці: герой, чия власна дбайливість обертається проти нього, пророк, який бачить, як його народ правильними засобами женеться за хибним, і автор, що помічає, як робить те, чого не хоче. Вони питали, що з ними відбувається, і відповідали своєю мовою, словами свого часу. Нове не саме питання, а його масштаб. Тепер його ставить не одна людина, а ціла цивілізація — багатьма мовами і в багатьох галузях водночас.
Тут читач може слушно спитати, до чого давні тексти вигоранню, кліматичній тривозі й машинному навчанню. Це добре питання, і цей есей на нього ще не відповідає. Цей есей лише помітив, що словник нашого часу описує рух, а не окремі хиби, і що цей рух має однаковий вигляд від галузі до галузі й від мови до мови. Якщо рух має форму, її можна шукати і в давніших текстах, що розповідають історію людства від початку до кінця. Якщо цієї форми там не знайдеться, книжка помиляється, і будь-хто може це встановити.
Досі можливі два пояснення, і на цьому етапі вибрати між ними не можна. Згідно з першим, словник промаху — мода нашого часу: слова поширюються, бо вони корисні, і їх замінюють, коли з’являються кращі. Згідно з другим, словник каже щось правдиве про самі події: історія має форму, і ми дійшли в ній до точки, де промах починає ставати видимим. Жодне пояснення не доведене, і в будь-яке можна вірити залежно від того, що вже думаєш. Тому вибір не повинен спиратися на віру чи на те, яке з них приємніше.
Отже, питання таке: випадковість чи сюжет? На нього не відповість жодне окреме спостереження, бо можна знайти спостереження, що вказують в обидва боки, і кожне легко прочитати на свою користь. Перш ніж розгорнути будь-який давній текст, треба домовитися, який вигляд мав би сюжет, якщо він є, і що показало б, що його немає. Наступний есей робить саме це: записує граматику сюжету та умови, за яких його можна перевірити. Робін лишається на своїй кухні, і їй поки нічого не обіцяно.
Диспозиція · робоча нотатка
Експозиція. Текст: власний словник нашого часу. 7 розділів, 2 + 3 + 2, 5 абзаців × 5 речень. Рамка: життєвий шлях від дитинства до дорослості, той самий в усіх есеях.
Дія I — Словник
Словник промаху
- Рамка: Робін представлено як приклад («Назвімо її Робін. Вона — ніхто конкретно, і саме тому кожен знає когось на неї схожого.»): доросла, яка все робила правильно і все ж виснажена; її слова: виснаження, відірваність, «не присутня». Та сама Робін проходить крізь усі сім есеїв.
- Той самий словник у лабораторіях ШІ: misalignment – система прагне поставленої мети й схиблює.
- У клініках і школах: відірваність від тіла, від інших і від моменту.
- Різні галузі й методи, а слово те саме: повз.
- Питання: чому наш час описує себе саме словами промаху?
Один діагноз, багато мов
- Екологія: Вайт 1967 – людина діє в природі ззовні.
- Розум: Макґілкріст 2009 – називальне мислення витісняє залучене.
- Машини: Крістіан 2020 – система робить те, за що її винагороджують, і минає мету.
- Три галузі не позичають одна в одної, але доходять до того самого: діяч трохи поза життям, на яке впливає.
- Діагноз однаковий усіма мовами – звідси починається рух есею.
Дія II — Спроба
Де стоїть діагноз
- Звідки виголошують діагноз? Щоб побачити промах, потрібне місце.
- Кліматолог бачить його на приладах планети, інженер – у результатах тестів.
- Місце, з якого ставлять діагноз, – те саме місце, яке він описує.
- Мірило зроблене з проблеми – інструмент є частиною хиби.
- Місце має історію, яка починається з приходу в мову (міст до есею 3).
Кожне виправлення влучає повз ціль
- Відповідь на діагноз: більше, швидше, краще – кожне виправлення з того самого місця.
- Джевонс 1865: ефективніша парова машина збільшує споживання вугілля.
- Агент перегонових човнів 2016: збирає бали, кружляючи по колу, і не доходить до фінішу.
- Застосунок для медитації рахує серію присутності – навіть присутність отримує мірило.
- Зусилля щире, а розум справжній: тому це трагічно. Промах, а не зло.
Крик
- Коли більше вже не допомагає, чути щось інше.
- Lancet Planetary Health 2021: 10 000 молодих людей, понад половина вірить у загибель людства.
- Словник перестає бути технічним: горе, тривога, страх.
- Це мова не проблеми, що чекає розв’язку, а того, хто спробував усе.
- Один голос: цього не виправити звідти, де ми стоїмо. (Речення Павла притримується до есею 4.)
Дія III — Питання
Почути крик
- Надто швидка відповідь була б ще однією стрілою з того самого місця.
- Менше й важче: крик можна почути як крик.
- У драмі ця мить має своє місце: після повороту, перед упізнаванням.
- Доросла з рамки: крик – перша мить, коли вона каже, де вона є.
- Крик – не кінець, а знак того, в якій точці історії ми перебуваємо.
Випадковість чи сюжет?
- Повернення до словника розділу 1 і до дорослої.
- Раніше це питання ставили окремі люди: пророк, трагічний герой, апостол.
- Тепер його ставить цивілізація всіма своїми мовами водночас.
- Питання читача: до чого давні тексти виснаженню? (відповідь в есеї 4)
- Питання до есею 2: промах – це випадковість чи форма сюжету? Без фанфар.
- Речення Павла притримується. В Out of Alignment Рим 7:24 з’являвся вже в розділі 6. У книжці він приходить лише в есеї 4, коли читач упізнає в ньому крик цього есею. Це відкладене упізнавання.
- Перевірити: White 1967; McGilchrist 2009; Christian 2020; Jevons 1865; OpenAI CoastRunners 2016; Hickman та ін., Lancet Planetary Health 2021.
Робочий матеріал: Out of Alignment
- Лінн Вайт мол., «The Historical Roots of Our Ecologic Crisis», Science 155 (1967): 1203–1207.
- Ієн Макґілкріст, The Master and His Emissary [«Господар і його посланець»] (2009).
- Браян Крістіан, The Alignment Problem (2020).
- Вільям Стенлі Джевонс, The Coal Question (1865): ефективність і зростання споживання.
- Jack Clark і Dario Amodei, «Faulty Reward Functions in the Wild», OpenAI, 2016 (човен CoastRunners).
- Керолайн Гікман та ін., «Climate anxiety in children and young people and their beliefs about government responses to climate change», The Lancet Planetary Health 5 (2021): e863–e873.