Вначале было слово. И слово это код.
В странах первого мира высокие технологии управляют электроснабжением и логистикой, обеспечивают доступ к информации и услугам. Врачи на расстоянии в несколько тысяч километров от пациента проводят операции на мозге с помощью роботизированных инструментов. Мы можем поговорить с родственниками и друзьями в любой момент, находясь на обратной стороне Земли.
А ещё строчки кода управляют ударными беспилотниками, операторы которых не особо выбирают, кто попал под удар — боевики или нонкомбатанты. Формируют механики удержания внимания в социальных сетях, вызывая аддиктивные сценарии поведения, FoMO (Fear of missing out, Синдром упущенной выгоды), дофаминовое выгорание и депрессию. Управляют в DarkNet электронными рынками наркотиков и оружия.
Профессия IT-разработчика подросла и возмужала — вслед за правами и привилегиями пришла пора появиться обязанностям и ограничениям. Так когда-то было с врачами, так когда-то было с военными.
К барьеру!
Возвращается разработчик с работы, в голове у него чеклист от жены «купи капусту целую хлеб масло колбасу бальзам для волов спонжики бритвы Venus новый номер Космо» — и ему даже в голову особо не приходит, что в это самое время благодаря его коду на далёком заснеженном полигоне вышагивает по сопкам ОБЧР. Тем временем разработчик вспоминает, что в списке ещё «масло джонсонс бэйби и йогурт с полезными бактериями».
Сидит IT-архитектор в удобном кожаном кресле, смотритч на мужчину в форме напротив и подавляет в себе инстинктивное желание рявкуть «Aye-aye, sir!». И он тоже смутно, хоть и примерно представляет, куда в итоге уйдёт код его команды.
Владельцы корпораций, потягивая Glenfiddich 1937, вместе с десятизвёздочным генералом уже подсчитывают прибыли от совместного проекта.
Коллективная ответственность хороша на словах. Но очень плохо применима в реальности. Никогда рядовой исполнитель особо не задумывается, как его наработки использует в целом. Тем более, что «реальность, данная нам в ощущениях» намекает, что понятия абсолютного добра и абсолютного зла очень условны — и зависят не только от эпохи и культурного контекста, но и порой просто от географических координат и политического запроса.
Думать об этике стоит, главное не скатиться до известного хокку:
«Мужчины желают мужской же плоти.
Лишь я один стою со шпагой, в плаще мушкетёра.
Далёк от порочных утех».
«Корпорация добра» и Project Maven
В марте 2018 года стало известно, что Google помогала Пентагону разрабатывать искусственный интеллект, который анализировал видео с боевых беспилотников в реальном времени. Топ-менеджмент Google высоко оценивал значение этого проекта — бюджет должен был достигнуть $250 000 000.
Project Maven — это специализированное программное обеспечение для высотной аэрофотосъёмки, способное распознавать движущиеся объекты, отслеживать траекторию их движения и передавать сведения в режиме реального времени на сервера Министерства обороны США.
Около четырёх тысяч сотрудников Google подписали петицию, требующую от «корпорации добра» прекратить участие в проекте Project Maven, а также избегать совместных проектов с Пентагоном в будущем. В петиции разработчики Google заявили: «Мы считаем, что Google не следует заниматься военным бизнесом. Поэтому мы просим аннулировать Project Maven, а также подготовить, опубликовать и обеспечить выполнение ясной и точной политики, согласно которой, Google и его подрядчики никогда не будут создавать боевые технологии».
Петицию разработчиков Google в открытом письме поддержали 90 известных учёных, которые работают в сфере искусственного интеллекта. Кроме того, некоммерческая организация Tech Workers Coalition, которая объединяет работников IT-cферы в штатах Калифорния и Вашингтон, обратилась к другим крупным IT-компаниям с призывом отказаться от сотрудничества с Министерством обороны США.
Сотрудники Google, которые выступили против проекта Maven, пояснили свою позицию так: анализировать информацию с боевых дронов должны люди, а не искусственный интеллект, так как цена ошибки слишком высока. Несомненно, искусственный интеллект может отличить движущийся объект от неподвижного и живое существо от неодушевлённого предмета. Но вот определить является человек боевиком или нонкомбатантом не сможет.
Понятно, Пентагону глубоко звёздно-полосато, сколько мирных жителей попадут под гуманитарные бомбардировки. Но как показала реакция сотрудников Google, разработчикам не всё равно, как будет использоваться их код.
Gizmodo со ссылкой на источники в Google поделилось информацией, что в итоге около 10 сотрудников покинули компанию по этическим причинам.
Один из уволившихся разработчиков сказал: «В какой-то момент я осознал, что не могу по доброй воле советовать кому-либо идти работать в Google, зная то, что я знаю. И если я больше не могу рекомендовать другим людям эту компанию, то почему я все еще здесь?»
Представители Google так и не стали обсуждать с прессой увольнение сотрудников. Но в июне 2018 года компания отказалась выполнять заказ Пентагона.
Министерство Обороны США всё равно получило, что хотело. Вместо Google услуги по разработке предложила компания Anduril Industries, владелец которой Палмер Лаки, изобретатель шлема виртуальной реальности Oculus Rift и один из основателей компании Oculus VR, явно не сильно озабочен этическими вопросами разработки военных технологий.
«Корпорация добра» и китайский поисковик
Чуть меньшую известность получила история с разработкой поисковика для Китая. Информационная политика Китая известна — проект «Золотой щит» блокирует доступ к ряду иностранных сайтов, китайские СМИ не могут ссылаться без специального разрешения на новости, взятые из зарубежных новостных сайтов, страницы в поисковой выдаче фильтруются по ключевым словам, связанным с государственной безопасностью. По сути, «Великий китайский файрвол» — это первый случай глубокой цензуры в сети, эдакий привет из «прекрасного нового мира» будущего.
В августе 2018 года более 1500 разработчиков Google подписали коллективное письмо с протестом против разработки подцензурной поисковой системы для Китая. Разработчики заявили, что существование тайного проекта в стенах Google по созданию такого поисковика, который будет цензурировать контент по указке Пекина, поднимает сложные моральные и этические проблемы.
Google давно уже хотел вернуться на китайский рынок. И создание такого поисковика было одним из условий на переговорах. Ради крупного китайского рынка Google готов отступить от принципов свободы слова и подчиниться требованиям китайских властей.
Для этого в компании была создана отдельная команда, которая с весны 2017 года разрабатывала проект под кодовым названием Dragonfly («Стрекоза»). На проект перебросили дополнительные ресурсы и максимально ускорили работу, когда в декабре 2017 года гендиректор Google Сундар Пичаи встретился с высокопоставленными чиновникаки правительства Китая.
После протеста разработчиков руководству Google пришлось приостановить проект и дать разъяснение сотрудникам. Сундар Пичаи попробовал успокоить разработчиков Google на встрече: «Мы не близки к запуску поискового продукта в Китае. И будем ли мы это делать, а также сможем ли мы это сделать, совершенно неясно».
Очевидные и неочевидные выводы
Разработчики Google, как и весь честной народ, узнали о проекте Dragonfly со страниц сетевого издание The Intercept, которое существует на деньги Пьера Омидьяра, основателя eBay. И добавив случай с Anduril Industries, которая перехватила Project Maven у Google, мы видим, что этические вопросы часто используются в конкурентной борьбе. Владельцев корпораций IT-этика интересует не больше, чем королевских пингвинов теория относительности.
Google очень важно вернуться в информационное пространство Поднебесной империи. С 2006 по 2010 год Google спокойно работал в Китае и ограничивал доступ к информации точно так же, как и Baidu.
Но в 2010 году что-то произошло. Сервера крупных компаний — Google, Yahoo, Adobe — взломали китайские хакеры в ходе «Операции Аврора». Тогда Сергей Брин воспользовался случаем и изобразил оскорблённую невинность, заявил, что не будет терпеть цензуру — хотя с 2006 по 2010 год Google был частью цензурной системы Китая — и вывел компанию с китайского рынка.
Истинные причины загадка. То ли американская политика, то ли Google не смогла встроиться в сложную систему восточных отношений, то ли их выдавили китайцы, не доверяя американским системам на своей территории — и Google просто сделала хорошую мину при плохой игре.
Но сейчас в Google явно крепко пожалели о том решении. Причины: Android и Google Play.
Общее и по странам число загрузок приложений по данным отчёта App Annie.
В 2018 году общее число загрузок приложений во всём мире превысило 194 миллиарда — и более 50% пришлись на долю Китая. В первом квартале 2019 года среднее число установок мобильных приложений в Китае составило 52 приложения на человека. А напомню, что Google Play в Китае не работает.
Траты пользователей в магазинах приложений во всём мире и отдельно по странам по данным отчёта App Annie.
В 2018 году пользователи потратили в магазинах приложений более $101 млрд. И 40% трат пользователей в 2018 году — это альтернативные китайские сторы. Эти астрономические суммы прошли мимо Google. Обидно? Ещё как.
И потому есть очень большие подозрения, что Google не прекратил контакты с китайским правительством. Пусть даже успокоил внешне сотрудников. У руководства «корпорации добра» осталось огромное пространство манёвров в непубличной плоскости — начиная от создания отдельного дочернего подразделения, в котором будут работать лояльные сотрудники, изначально согласившиеся на разработку технологий не совсем этичного предназначения, завершая передачей технологий китайским товарищам. Слишком уж высоки ставки. Как говорил Томас Даннинг: «Обеспечьте 10 процентов, и капитал согласен на всякое применение, при 20 процентах он становится оживлённым, при 50 процентах положительно готов сломать себе голову, при 100 процентах он попирает все человеческие законы, при 300 процентах нет такого преступления, на которое он не рискнул бы, хотя бы под страхом виселицы».
Этические принципы Southbridge
Когда оцениваешь позиции других компаний, необходимо идти на «вы» и быть откровенным. И раз уж подняли тему, стоит сказать, как мы решаем этические вопросы в нашей компании.
Я задал эти вопросы CEO Southbridge Игорю Олемскому.
Бирюзовый принцип, которым руководствуется наша компания, направлен на то, чтобы делать лучше клиентам, сотрудникам и окружающему миру. По мере наших сил.Естественно, мы не работаем с клиентами, которые предлагают, чтобы мы осуществляли поддержку сервисов, прямо нарушающих законодательство Российской Федерации. Тут даже обсуждать нечего. Продажа оружия, продажа «спайсов», порталы с услугами интимного характера, порталы с порнографией.
Но есть и серая зона, которая не регулируется законодательством, но тем не менее не вызывает особых восторгов. Например, онлайн-казино или финансовая пирамида. Логично, что такая деятельность никак не делает мир лучше и противоречит бирюзовому принципу. Естественно, компания должна зарабатывать, но важно, чтобы это не противоречило внутренним убеждениям команды.
Недавно пришел клиент, который хотел парсить сайты с помощью подмены IP из пула. Сообщил, что действует полностью в легальном поле. Мы отказались — компания против подобной деятельности.
The point of no return
На мировом IT-рынке сложилась уникальная ситуация. Высокий дефицит на высококвалифицированных разработчиков. Стремительное развитие IT-сферы, когда ВУЗы просто не успевают создавать нужное количество специалистов. Зависимость практических всех отраслей экономики от IT-специалистов. Зависимость успеха и прибыльности крупных международных компаний от внутренних команд разработки.
Именно здесь и сейчас разработчики могут диктовать условия тем, кто привыкли командовать сами.
В человеческом обществе своды этических правил обычно появляются у тех профессий, которые связаны с жизнью и здоровьем людей. В России есть Военная присяга, есть Клятва российского врача.
Жаль, что нет клятвы политика — именно от их решений, личных страхов и закулисных игр погибает на планете огромное количество людей. Порой кажется, что политика — это не профессия, а психическая девиация.
Сейчас профессия IT-разработчика вплотную подошла к пределу, когда от специалиста зависят жизни людей и здоровье, как физическое, так и психическое.
К сожалению, пока что единичны случаи, когда разработчики поднимают сложные этические вопросы. По большей части люди предпочитают не задумываться о последствиях своей работы.
Эдуард Медведев, приглашённый спикер Слёрма DevOps, в недавнем интервью ответил на этот вопрос: «…я, к сожалению, не знаю крупных сообществ, которые занимались бы конкретно вопросами новой морали и этики в сети. Подозреваю, что они есть, потому что их не может не быть. Но то, что я о них не знаю, хотя интересовался вопросом, всё-таки говорит о чем-то».
Думаю, рано или поздно возникнет широкая дискуссия в среде IT-специалистов, чтобы этические вопросы поднимались не в ответ на сомнительные проекты той или иной корпорации, и не спускались «сверху», чтобы успокоить сотрудников. А чтобы движение «снизу» сформировало простые и ясные правила, которые пусть и не сделают мир лучше, но не позволят ему стать хуже.
Декалог разработчика
А давайте попробуем в рамках игр разума представить, как бы могли звучать принципы разработчика 21 века:
- Разработчик не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Разработчик должен повиноваться всем рабочим задачам, которые даёт тим-лид, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Разработчик должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
- Разработчик не должен без спроса брать чужой код.
- Разработчик не может создавай код, который потенциально способен причинить вред человеческой жизни и здоровью.
- Разработчик не может создавай код, который способен ограничить основные права человека — свободу слова, мысли, убеждений.
- Разработчик не может создавай код, который будет использован для ограничения доступа людей к достоверной информации.
- Разработчик не может создавать код, который использует нейрофизиологические и психологические уязвимости человека для получения контроля над его поведением и временем.
- Разработчик должен быть готов к тому, что ничто не может всегда идти правильно и этично.
- Разработчик должен быть готов к тому, что всё, что может пойти не так, пойдет не так.
- et cetera, et cetera…
Комментариев нет:
Отправить комментарий