Искусственный интеллект, потенциальная угроза выживанию человечества. Может ли угрожать суперкалькулятор? Искусственный интеллект опасен

И другие известные исследователи написали открытое письмо, призывая создать стандарты безопасности в области разработок искусственного интеллекта (ИИ). /сайт/

В частности они призвали к исследованиям и разработке системы надёжного управления, которая бы не позволила неисправному искусственному интеллекту нанести вред людям. «Необходимо проделать техническую работу, чтобы обеспечить полноценный контроль со стороны людей», ― говорится в письме.

Несмотря на умеренный тон письма, луддиты, боящиеся новых технологий, впали в панику. В ответ в прессе появилось множество интервью и высказываний учёных, рассеявших эти опасения.

Эндрю Нг, эксперт по ИИ из Baidu, заявил в интервью Fusion: «Я не представляю реалистичного сценария, как программное обеспечение, над которым мы работаем сегодня, может стать разрушительным».

В свою очередь журналист Скотт Александр составил список известных учёных, участвующих в разработках ИИ, которые говорили о потенциальной опасности со стороны ИИ.

Страх и опасения

Стюарт Рассер, профессор информатики из Калифорнийского университета в Беркли, сравнил разработку механизмов контроля над ИИ с принятием мер безопасности атомных реакторов.

«Некоторые считают, что этот вопрос не представляет опасности для человечества в ближайшие несколько сотен лет. Они забывают, что Лео Силард открыл цепную ядерную реакцию через 24 часа после того, как Резерфорд уверенно заявил, что атомная энергия никогда не будет получена», ― написал Рассел.

Рассел не одинок в своём мнении. В ходе опроса, проведённого Винсентом Мюллером и Ником Бостромом в 2014 г. среди 170 ведущих специалистов ИИ, оказалось, что 18% из них считают, что создание машины со сверхинтеллектом, станет «реальной катастрофой» для человечества. 13% заявили, что продвинутый ИИ окажет негативные последствия для людей. Чуть больше половины учёных сказали, что он окажет положительное влияние.

Хотя мнение специалистов о влиянии ИИ неоднозначно, большинство сходятся во мнении, что создание развитого ИИ ― только вопрос времени. По прогнозам, ИИ, равный человеку, будет создан уже в 2050 г. (50% вероятности) или к 2075 г. (90% вероятности). А 30 лет спустя после его создания появится искусственный сверхинтеллект, который превзойдёт человека во всех аспектах.

Сумасшедшие грузовики

Как может выглядеть восстание машин? В фантастических фильмах, вроде «Терминатора», «Робота», «Аниматрица», показана война людей с киборгами.

Судя по фантастическим фильмам, у многих может сложиться мнение, что потенциальной опасности легко избежать, В конце концов, по сути ИИ ― это просто программное обеспечение для компьютера.

Однако искусственному интеллекту необязательно иметь механическое тело, чтобы обрести власть в реальном мире: он просто может начать контролировать все наши повседневные электронные приборы.

Стивен Кинг представил такой сценарий в рассказе «Грузовики». В рассказе, написанном в 70-е годы, грузовики обретают сознание и начинают нападать на людей. Группа людей прячется от взбесившихся грузовиков. Грузовикам для работы по-прежнему требуется топливо, и они при помощи кода Морзе приказывают людям заправить их, иначе бульдозер снесёт их укрытие. Люди подчиняются.

История заканчивается видением рассказчика о том, что грузовики поработили человечество и навязывают везде свои ценности, например, заставляют строить магистрали по всему миру. Из мира фантазий его выводит звук пролетающего в небе самолёта.

Рассказ Стивена Кинга казался футуристическим в эпоху, когда он был написан, но он не так далёк от реальности современного мира. Самоуправляемые грузовики уже существуют, и в будущем компании с целью экономии могут заменить водителей на автономную навигационную систему.

Взлом Sony в прошлом году демонстрирует, что наши информационные системы становятся всё более уязвимыми. Это одно из следствий всё большей компьютеризации инфраструктур.

Однако пока нет причин для беспокойства. Искусственному интеллекту предстоит проделать долгий путь, прежде чем он сможет сравниться с мозгом человека. Пример с самоуправляемыми грузовиками хорошо демонстрирует это. Пока они ещё слишком несовершенны, чтобы самостоятельно ездить по переполненным городским улицам.

Установили бы Вы себе на телефон приложение для чтения статей сайта epochtimes?

Не так давно американский предприниматель Илон Маск и физик Стивен Хокинг в открытом письме призвали разработчиков искусственного интеллекта (AI) не создавать то, что нельзя контролировать. Они считают, что угроза, исходящая от AI может быть намного опаснее ядерного оружия.

Соперник

В марте 2016 года Компьютер AlphaGo, разработанный компанией DeepMind, в пяти партиях древнекитайской настольной игры го взял верх над корейцем Ли Седолем – одним из сильнейших в этой дисциплине. Это серьезный шаг вперед по сравнению с победой компьютера Deep Blue над Гарри Каспаровым в 1997 году, ведь если шахматы имеют 35 вариантов ходов, то в го их около 250.

Компьютер проиграл лишь в 4-й партии, когда Седоль совершил нестандартный ход, вероятность которого AlphaGo оценивал как 1 к 10 000, однако в 5-й партии эта ошибка была учтена. Президент Американской ассоциации го Эндрю Окан был немного раздосадован, так как считал, что в этой игре преимущества над человеком машина достигнет не ранее чем через несколько десятилетий.

Пугающая скорость

Ученые уже сегодня поставлены перед фактом: AI способен к самообучению почти в той же степени, что и человек. Работа искусственного мозга, как и человеческого, основывается на множестве нейронных связей, которые нарабатываются в результате накопленного машиной опыта. Учитывая, что производительность AI намного выше, чем у человеческого мозга, процесс обучения робота будет идти гораздо быстрее.

Так, в 2014 году суперкомпьютер смог решить одну из математических задач Эрдёша, решение которой настолько сложное, что человек не в состоянии его проверить – один файл с уравнением занимает 13 гигабайт. Очевидно, что в плане интеллектуальной работы AI уже опередил человека, а после 2030 года, по мнению специалистов, искусственный разум будет превосходить нас по общему уровню сознания.

Как его понять?

Американский блогер Тим Урбан, занимающийся проблемой искусственного интеллекта, заметил, что по мере того, как AI будет становиться умнее человека, у нас будет все меньше шансов его понять. Объясняя сказанное, он приводит пример. Шимпанзе может осмыслить, что такое человек и что такое небоскреб, но примат никогда не сможет понять, что небоскреб был построен людьми.

Точно также мы никогда не сможем понять возможности AI, даже если машина попытается объяснить нам это – не говоря уже о том, чтобы попробовать сделать это самим. Компьютер мог бы годами пытаться научить нас простейшим представлениям о том, что он знает, и это было бы безнадежно, – резюмирует Урбан.

Вы уволены!

В обозримом будущем нас ждет массовая безработица, уверены футурологи. Причем даже тех, кто считает себя незаменимым. Это касается не только физической или интеллектуальной работы, но и творческой деятельности. Машины уже создают музыку и пишут статьи. Профессор Моше Варди из американского Университета Райса считает, что большинство рабочих мест будет занято роботами в течение 30 лет.

Часть ученых полагает, что в этом нет ничего плохого, так как технологическая безработица откроет дверь в будущее, где люди будут трудиться не по необходимости, а для удовольствия. Собственно правительствами некоторых стран Запада уже сегодня предпринимаются шаги в этом направлении, в частности, проводятся эксперименты по введению всеобщего базового дохода.

На самообеспечении

Учитывая скорость развития AI в скором времени умные машины смогут вообще обходиться без человека. К примеру, команда робототехников из французского университета Пьера и Марии Кюри создала высокотехнологичную машину-паука, которая может самостоятельно менять способ передвижения в случае поломки или утраты одной из конечностей. На осознание поломки и тестирование новых способов движения уходит примерно 20 минут.

Уже в самое ближайшее время роботы научатся самостоятельно производить замену сломанных или изношенных деталей. Перспективы таких машин, по мнению ученых, поистине безграничны. Они могут быть использованы в местах природных или техногенных катастроф, а также для исследования океанских глубин и отдаленного космоса.

Почти как человек

В начале 2017 года компания Boston Dynamics продемонстрировала нового человекоподобного робота PETMAN, на котором проводят испытания армейской спецодежды. PETMAN имитирует человеческую физиологию, двигаясь и сохраняя равновесие так же, как бы это делал человек. Более того, машина умеет регулировать температуру и влажность «тела», приближая условия испытания к естественным.

Робот Atlas – еще одна разработка Boston Dynamics – способен решать более сложные задачи: открывать двери, перемещаться по сложно пересеченной местности и даже преодолевать вертикальные препятствия. Машина намного сильнее человека и может переносить грузы свыше 100 килограмм. Недаром разработчики говорят, что новые роботы вселяют в них ужас.

Два пути

По мнению ученых, при интенсивном развитии AI у человечества есть два варианта будущего: к концу XXIвека мы можем, или исчезнуть с лица земли, или стать бессмертными. Пессимисты обеспокоены тем, что малейшая ошибка на этом пути приведет к быстрому концу человеческой расы. К примеру, AI, запрограммированный на решение проблем, связанных с изменениями климата, определит, что главным препятствием в его работе являются люди и задействует весь арсенал роботизированных средств, чтобы устранить эту угрозу.

Защититься или спрятаться от AI будет фактически невозможно. Так, один из мощнейших на данный момент суперкомпьютеров Наутилус смог предвидеть, где будет скрываться Бен Ладен, а также предугадать начало «арабской весны».

Оптимисты уверены, что сверхинтеллект сможет решить все наши насущные бытовые проблемы. AIобеспечит не только комфорт и безопасность нашей жизни, но и будет гораздо интенсивнее, чем человек развивать области фундаментальной и прикладной науки. И первое, чего от него ждут – разработку препаратов, позволяющих сделать человеческий организм бессмертным.

На днях на Facebook развернулась очередная дискуссия о потенциальной опасности для человечества когнитивных технологий и всего искусственного интеллекта. Стоит сказать, что эта тема поднимается на протяжении всего периода ведения разработок в этой области, но в последнее время стала звучать заметно сильнее - и не только в России, но и во многих ведущих странах, включая США. Нельзя сказать, что ситуация там дошла до состояния истерики, но движение против искусственного разума с очевидностью набирает обороты. Кстати, возглавляют его отнюдь не самые последние в обществе люди. В их числе лауреат Нобелевской премии мира Джоди Уильямс, поднявшая в этом году мощную кампанию «Остановить роботов». И соучредитель Skype Джаан Таллинн. При его участии в прошлом году в Кембридже был создан научный Центр по изучению угроз существованию человечества (Centre for the Study of Existential Risks). В списке четырех потенциальных угроз, стоящих перед человечеством, специалисты, в число которых входят известные ученые, философы и инженеры, поставили искусственный интеллект, изменение климата, ядерное оружие и биотехнологии (возможность создания искусственной жизни).

Однако не надо думать, что причиной для беспокойства специалистов и экспертов самого высокого уровня является точка зрения на то, что искусственный разум в будущем поглотит человечество. Основным катализатором всеобщей тревоги становятся все чаще проявляющиеся случаи превосходства искусственного разума над естественным.

Стоит сказать, что первые озабоченные подобным развитием событий голоса прозвучали еще в середине 1990-х, когда серьезный прорыв произошел в сфере интеллектуальной обработки информации и умные машины научились понимать содержание отдельных типов документов в своей массе лучше человека. Они умело разбирали документы, заменяя интеллект если не сотен, то десятков секретарей и операторов на отечественных предприятиях. Затем появились программы, способные разбираться в содержании больших архивов и делать на их основе соответствующие выводы и прогнозы. Самым же наглядным случаем превосходства техники, безусловно, стал проигрыш Гарри Каспарова компьютеру Deep Blue.

Сегодня мы уже имеем машины, которые действуют успешнее человека в шахматах, вождении автомобиля, понимании документов, финансовом трейдинге, распознавании лиц, речи и текста. Интернет кишит всевозможными ботами и инфами, способными давать комментарии по конкретным ситуациям и поддерживать беседу. Появились даже роботизированные системы документооборота, способные понимать, в какую внешнюю среду их устанавливают и адаптироваться под нее. Кстати, именно такая российская система «Е1 Евфрат» и стала объектом нападок со стороны отдельных пользователей интернета. Больше всего их обеспокоило то, что когнитивная система, использующая, в частности, алгоритмы самообучения, сможет самостоятельно развить деятельность в информационном пространстве организации и нанести ему урон. Конечно, у специалистов подобная постановка вопроса, как правило, вызывает улыбку. В системе «Е1 Евфрат» процесс самообучения происходит на локальном уровне и никаких шансов выйти из-под контроля у него нет. Таким же образом можно предположить, что ошибки, не замеченные, например, в бухгалтерской программе, способны разрушить жесткий диск, на котором она установлена.

Но в целом озабоченность общественности не удивляет. Подобных дискуссий нам не избежать, и по мере совершенствования технологий искусственного интеллекта они будут только учащаться и оживляться. Что говорить, когда сам Пентагон был вынужден прореагировать на принимающие массовый характер протесты американской общественности, обеспокоенной тем, что военные роботизированные аппараты начнут принимать критически важные решения самостоятельно. В итоге заместитель министра обороны США Эштон Картер даже выступил с заявлением гарантий того, что ни один из роботизированных военных аппаратов не будет принимать решения о нанесении вреда человеку.

И все же опасаться человечеству не стоит ни сегодня, ни в обозримом будущем. Вся обеспокоенность активистов лежит скорее в общественной плоскости, чем в научной или практической. Деятельность британского Центра изучения глобальных рисков, собственно, подтверждает, что такие же вопросы и настроения возникают и в других сферах жизни. Это обычная составляющая любого процесса развития. Главное, что является неопровержимым фактом, - это реальная эффективность применения систем с искусственным интеллектом. И многие, в том числе глобальные, проблемы, стоящие перед нами, как, например, Bigdata-обработка огромных объемов информации, накопленной человечеством, как и многие другие, без систем искусственного интеллекта не решить.

Искусственный интеллект (ИИ) - тема, которая уже давно не сходит со страниц научно-популярных журналов и постоянно затрагивается в кино и книгах. Чем больше специалисты развивают эту область науки, тем большими мифами она покрывается.

Развитие и будущее искусственного интеллекта волнует и тех, кто стоит у руля государства. Не так давно президент РФ Владимир Путин посетил офис Яндекса в день 20-летия компании, где ему объяснили, когда ИИ превзойдет человеческий интеллект.

Все, кто хоть немного проникает в суть потенциала искусственного интеллекта, понимают, что оставлять без внимания эту тему нельзя. Это не только важная тема для обсуждения, но и, наверное, одна из самых значимых в контексте будущего.

Словом, заметные успехи есть и у нас в стране.

Чем быстрее развиваются технологии искусственного интеллекта, тем сильнее людей захватывает опасение - как быстро они останутся без работы. Все действительно так плохо?

И да, и нет. Человечество уже несколько раз сталкивалось с возникновением технологий, революционно изменивших всю производственную сферу.

Так было с паровым двигателем в эпоху промышленной революции практически уничтожившим многие профессии (в основном, связанные с примитивным физическим трудом), так было с электронными вычислительными машинами, которые заменили человека в задачах, основанных на поточных математических расчётах.

В XV-XVIII вв.еках, когда в Англии «овцы съели людей», социальные последствия были действительно катастрофическими. Англия потеряла по разным оценкам от 7 до 30% своего населения. Властная элита того времени была всерьёз озабочена тем, куда девать лишних людей. Джонатан Свифт откликнулся на эти искания юмористическим памфлетом, в котором предлагал употреблять детей бедняков в пищу.

Однако в наши дни мы видим, что на смену вымершим профессиям пришли новые, и население Земли куда больше, чем в XVIII веке. В XX веке последствия автоматизации были уже не столь катастрофичны с социальной точки зрения. Однако недооценивать опасность всё-таки не стоит.

«Через 30 лет роботы смогут делать практически всё, что умеют делать люди, - такой прогноз дал Моше Варди (Moshe Vardi), профессор вычислительной инженерии и директор Института информационных технологий Кена Кеннеди (Ken Kennedy Institute for Information Technology) при Университете Райса (William Marsh Rice University). Это приведёт к тому, что более 50% жителей Земли станут безработными».

Роботы забирают работы

На днях председатель комитета Госдумы по информационной политике, информационных технологиям и связи Леонид Левин заявил, что для России является важной проблема вытеснения рабочей силы искусственным интеллектом.

Рано или поздно людей заменят автоматизированной системой, и на рынок выплеснется 2% работоспособного населения страны. Именно поэтому о том, как их трудоустроить, тех, кто потеряет работу вследствие развития цифровых технологий, нужно думать уже сейчас сказал Левин.

По мнению председателя, уже в скором будущем мы столкнемся с ростом безработицы. Но действительно ли роботы «отберут» наши рабочие места и стоит ли беспокоиться по этому поводу рассказал «Ридусу» специалист по машинному обучению Сергей Марков.

Сергей, даже сейчас уже есть «мертвые профессии», которые не требуют человеческого труда, хотя, казалось бы, лет 10 назад никто и не думал, что, например, кондуктора скоро станут ненужными. А какие еще профессии вытеснят технологии?

Мы приближаемся к тому времени, когда машины превзойдут людей почти в любом деле. Я считаю, что обществу нужно посмотреть в лицо этой проблеме до того, как она встанет во весь рост. Если машины будут способны делать почти всё, что умеют люди, что тем останется делать? сказал Моше Варди, профессор вычислительной инженерии и директор Института информационных технологий Кена Кеннеди при Университете Райса.

Долгое время на пути автоматизации стояли технологические ограничения - машины не могли распознавать образы и речь, не могли говорить, не могли достаточно хорошо понимать смысл высказываний на естественном языке, не имели достаточно данных для того, чтобы научиться многим привычным для человека вещам.

Благодаря последним достижениям в сфере искусственного интеллекта многие из этих ограничений фактически оказались сняты. Кроме того, многие профессии сами претерпели трансформацию, что сделало их более удобными для автоматизации.

Например, современный офисный клерк ведёт переписку не в бумажном, а в электронном виде, бухгалтер выполняет проводки не на бумаге, а в бухгалтерской программе, оператор станка управляет станком зачастую не при помощи рукоятей, а при помощи управляющей программы. Поэтому сейчас задача автоматизации во многих профессиях перестала быть научной и стала чисто инженерной.

Правда пока что производственная сфера, связанная с ИИ, скорее создаёт рабочие места - нужны специалисты в области машинного обучения и подготовки данных, сотрудники для разметки обучающих массивов, специалисты по внедрению и т. д. Но в какой-то момент электроовцы определённо начнут есть людей, и о последствиях нужно позаботиться уже сейчас.

При этом важно понимать, что остановить технический прогресс нельзя, и попытка это сделать обернётся куда более катастрофичными последствиями.

Мы сможем когда-нибудь полностью довериться роботам (ИИ), или все-таки в любом деле должен быть человеческий фактор?

У этого вопроса есть несколько аспектов. С одной стороны, люди в прошлом с опаской относились практически к любой технике. Первый лифт, первый автомобиль, первый поезд или самолёт - всё это когда-то было непривычным, и многим казалось опасным. Да во многом опасным и было - техногенные катастрофы унесли немало жизней.

И тем не менее в наши дни все эти вещи стали привычными и уже не вызывают сильного страха. В этом смысле - наши потомки будут относиться к системам ИИ более спокойно. Люди порой склонны мистифицировать вещи, которые им непонятны. Дикарь думает, что в паровозе живёт злой дух, а современный обыватель думает, что наши системы ИИ обладают сознанием, хотя это далеко не так.

С другой стороны, я не думаю, что универсальные системы ИИ когда-либо станут частью нашей производственной сферы. На мой взгляд будущее скорее за синтетическими системами - то есть за объединением человека и машины в единый организм. В этом смысле искусственным интеллектом будущего будет усовершенствованный человеческий интеллект.

Кстати говоря, человеческий интеллект тоже не совсем корректно называть естественным. Ребёнок от рождения не обладает интеллектом, всему его учит общество, родители, окружающая среда. В этом смысле мы с вами все по сути дела «искусственные интеллекты», и наши страхи, связанные с ИИ, во многом являются страхами перед самими собой.

Последнее время многие ученые, например, Стивен Хокинг , Билл Гейтс или тот же Илон Маск , начали паниковать, что ИИ обрекает человечество на гибель, а будущее они видят какой-то антиутопией. Стоит ли воспринимать такие прогнозы всерьез?

Честно говоря, я бы не спешил всерьёз пугаться этих заявлений. Стивен Хокинг, безусловно, не является специалистом в области ИИ, как, в общем-то, и Илон Маск.

На другой чаше весов высказывания таких людей, как например, Эндрю Ын - американский учёный в области информатики, доцент Стэнфордского университета, исследователь робототехники и машинного обучения, ведущий специалист лаборатории искусственного интеллекта китайской корпорации Baidu .

Ын, говоря о проблеме безопасности ИИ, сравнивает её с проблемой перенаселения Марса - конечно, мы когда-нибудь колонизируем Марс, и тогда, возможно, в какой-то момент там возникнет проблема перенаселения. Но стоит ли заниматься ей сегодня?

Марк Цукерберг также довольно скептически отнёсся к заявлениям Маска. «Искусственный интеллект сделает в будущем нашу жизнь лучше, а предсказывать конец света очень безответственно», - заявил он.

Лично я думаю, что высказывания Маска стоит рассматривать в прагматическом ключе - Маск хочет застолбить эту тему и в идеале получить от государства средства для её разработки.

Неужели все так безоблачно и не о чем беспокоиться?

Реальные опасности, связанные с развитием ИИ, лежат, на мой взгляд, совсем в иной плоскости, чем об этом принято думать. Главные риски связаны не с тем, что мы своими создадим «Скайнет», который поработит человечество. Риски от внедрения технологий ИИ и машинного обучения куда более прозаичны.

Доверяя решение важных вопросов тем или иным математическим моделям, мы можем пострадать от ошибок, допущенных при их разработке. Искусственный интеллект, воспроизводящий действия людей-экспертов, унаследует их ошибки и предубеждения. Недоработки в системах управления производством или транспортом могут привести к катастрофам.

Вмешательство злоумышленников в работу жизненно важных систем в условиях тотальной автоматизации может повлечь опасные последствия. Чем сложнее системы, тем больше в них может быть потенциальных уязвимостей, в том числе связанных со спецификой тех или иных алгоритмов искусственного интеллекта.

Безусловно, для управления этими рисками следует создавать законодательную базу, разумные регламенты безопасности, специальные методы для выявления уязвимостей. Одни системы ИИ будут использоваться для контроля других. Возможно, код жизненно важных систем будет обязателен к публикации для независимого аудита. Словом, специалистам в этой сфере предстоит ещё много работы.

Развитие искусственного интеллекта однажды приведёт к превосходству его над умственными способностями человека. Однако не станет ли это опасным для человечества? Изучить ситуацию можно в результате более точного определения понятия ИИ , взяв за основу для сравнения естественный интеллект. Может ли в одном человеке сочетаться ум и интеллект одновременно? Или же умный человек не может быть интеллектуалом и наоборот?

Такие вопросы возникают в связи с приближением эры ИИ, о возможной опасности которого человечество должно знать заранее и своевременно принять меры для обеспечения своей безопасности. В первую очередь опасность ИИ будет связана с его самостоятельностью и неконтролируемым принятием решений. На данный момент уже выделены средства для изучения этой проблемы. В институте OpenAI изучаются перспективы развития ИИ. На теперешней стадии развития систем ИИ опасность его применения может быть связана со следующим факторами:

• ошибками ПО (программного обеспечения). Любому программному обеспечению может угрожать такая опасность;
• самостоятельной активностью ИИ, вредной для человека. Опасность от ИИ может исходить после изобретения умного компьютера. Поэтому необходимо определиться со степенью ума для компьютера, которая способна быть допустимой, а также чрезмерной, представляющей опасность для человека. Эти свойства должны быть точно измерены из-за сближения умственных способностей человека и компьютера, которые неизбежны. Информационные системы, существующие сегодня, представляют собой человеко-машины, которые могут работать благодаря интеллекту пользователя либо эксперта по компьютерам.

Например, какая опасность будет исходить от интеллектуальной бухгалтерской системы, которой может выдаваться неверная информация? Опасность может возникнуть, когда у такой системы появятся элементы личности, например, собственная заинтересованность, не имеющая ничего общего с человеческой. Решением такой проблемы может быть запрет на создание систем, отличающихся возможностью эволюции.

Кроме того, опасность может быть связана с содержанием в ИИ логических ошибок. Он может использоваться для решения достаточно сложных задач, список которых сразу неизвестен. Поэтому должны быть предусмотрены специальные меры для подтверждения правильности решение, которое будет получено. Скорее всего, возникнет необходимость в разработке всевозможных способов контроля таких систем, например, специальных программных средств, которыми будет автоматически проверяться правильность решения и при этом участие человека не потребуется.