От данных к решениям: руководство по основным технологиям искусственного интеллекта

За последнее десятилетие рост данных был очевиден почти во всех отраслях из-за более широкого использования мобильных технологий и оцифровки. Данные также стали ключевой частью бизнес-модели сферы услуг. Сервисные компании из разных отраслей теперь могут собирать данные из внутренних и внешних источников, что является ключевой причиной изучения ИИ. Успех или обучение любого приложения ИИ будет зависеть от качества его данных. Приложения ИИ предназначены для анализа данных и выявления закономерностей, чтобы делать прогнозы или принимать решения на основе обнаруженных закономерностей. Приложения постоянно учатся на ошибках, допущенных этими приложениями, и в результате улучшают свои результаты. Обычно это делается с помощью проверки человеком и получения новой информации. Приложения ИИ обычно дают наилучшие результаты, когда базовые наборы данных являются большими, достоверными, актуальными и существенными.

Существуют различные этапы сбора и уточнения данных, как описано ниже:

ИИ зависит от данных, которые он собирает. ИИ работает так же, как наш мозг, который поглощает огромное количество информации из окружающей нас среды. Эти данные могут быть получены из многих мест в стеке технологий ИИ. Например, Интернет вещей — это непрерывное развертывание, которое позволяет подключать миллионы устройств, от крупного оборудования до мобильных телефонов, позволяя им общаться друг с другом. Уровень сбора данных стека ИИ включает в себя программное обеспечение, которое взаимодействует с этими устройствами, и веб-службу, предоставляющую сторонние данные. Эти услуги варьируются от маркетинговых баз данных, содержащих контактную информацию, до новостей, погоды и интерфейсов прикладного программирования (API) социальных сетей, которые предоставляют сторонние данные.

Вам необходимо сохранить данные после того, как вы их собрали или создали потоки, которые позволяют им поступать в вашу систему с поддержкой ИИ в режиме реального времени. Данные ИИ могут быть структурированными или неструктурированными и могут представлять собой большие данные, которые требуют много места для хранения и должны быть быстро доступны. Часто именно здесь облачные технологии играют важную роль. Некоторые организации используют Spark и Hadoop, чтобы предоставить им возможность и ресурсы для создания собственных распределенных центров обработки данных, обрабатывающих большие объемы информации. Однако иногда лучше использовать стороннюю облачную инфраструктуру, такую ​​как Amazon Web Services и Microsoft Azure. Сторонние облачные платформы позволяют организациям масштабировать хранилище по мере необходимости и экономить деньги. Эти платформы предлагают различные варианты интеграции с аналитическими сервисами.

Обработка данных — одно из ключевых направлений искусственного интеллекта. Машинное обучение, глубокое обучение, распознавание изображений и т. д. — все это принимает участие в обработке ИИ. Доступ к алгоритмам этих технологий можно получить через сторонний API, развернутый в частном или общедоступном облаке, в частном или общедоступном центре обработки данных, озере данных или в точке сбора данных. Эти мощные, гибкие и самообучающиеся алгоритмы отличают нынешнюю волну ИИ от предыдущей. Развертывание графических процессоров (GPU) отвечает за увеличение необработанной мощности. Они являются отличным выбором для специалистов по обработке данных из-за их математических способностей. В ближайшем будущем новое поколение процессорных блоков, разработанных специально для задач, связанных с ИИ, обеспечит дополнительный качественный скачок в производительности ИИ.

Ваша стратегия ИИ должна быть направлена ​​на повышение эффективности и результативности машин (например, профилактическое обслуживание или снижение потребления энергии или ресурсов). Эта технология будет передавать информацию, полученную в результате обработки вашего ИИ, системам, которые могут извлечь из этого пользу. Другие идеи могут быть полезны для людей. Например, продавцы-консультанты могут использовать портативные терминалы для получения информации и рекомендаций для клиентов. Иногда вывод может быть в виде диаграмм, графиков и информационных панелей. Эту технологию также можно использовать в качестве виртуального личного помощника, такого как Cortana от Microsoft и Siri от Apple. Эти продукты используют генерацию естественного языка для преобразования цифровой информации в понятный человеку язык. Это, наряду с визуальными эффектами, является самой простой формой вывода данных, которую можно понять и использовать.

Алгоритм — это организованный машиной набор шагов для решения проблемы или генерирования выходных данных из входных данных. Сложный математический код используется в алгоритмах машинного обучения, позволяя машинам учиться на новых входных данных и создавать новые или измененные выходные данные на основе этих знаний. Машина запрограммирована не на выполнение задачи, а на обучение выполнению задачи. Алгоритмы искусственного интеллекта с открытым исходным кодом помогли стимулировать инновации в области искусственного интеллекта и сделать технологию более доступной для различных отраслей.

Все этапы жизненного цикла приложения ИИ требуют участия человека, включая подготовку данных и алгоритмов, их тестирование, сохранение моделей и проверку их результатов. Человеческие проверки имеют решающее значение для обеспечения того, чтобы данные соответствовали приложению, а выходные данные были точными, актуальными и полезными, поскольку алгоритмы сортируют данные. Заинтересованные стороны в области технологий и бизнеса часто работают вместе, чтобы анализировать результаты на основе ИИ и предоставлять обратную связь системам ИИ для улучшения модели. Отсутствие проверки может привести к неадекватным, неточным или неподходящим результатам систем ИИ, что приведет к неэффективности, упущенным возможностям или новым рискам, если действия будут предприняты на основе ошибочных результатов.

Машинное обучение — это область искусственного интеллекта, предназначенная для имитации разумного человеческого поведения для выполнения сложных задач, таких как решение проблем человека. Данные — это основа машинного обучения, включая фотографии, числа и текст. Данные собираются и сохраняются для предоставления обучающих данных для модели машинного обучения. Чем больше у вас данных, тем лучше программа. Как только данные готовы, программисты выбирают модель машинного обучения для ввода в нее данных, и модель обучается предсказывать закономерности или делать прогнозы. Программист может со временем настраивать модель, изменяя ее параметры и помогая ей давать более точные результаты. Некоторые данные хранятся отдельно от обучающих данных для оценки, что позволяет модели оценить ее точность при представлении новых данных.

Существует три типа машинного обучения:

Модели контролируемого машинного обучения обучаются с использованием помеченных наборов данных, что позволяет им обучаться и становиться более точными с течением времени. Алгоритм можно обучить изображениям собак и других объектов, что позволит ему распознавать собак самостоятельно. Классификация изображений и обнаружение спама — вот некоторые примеры контролируемого машинного обучения. На сегодняшний день это самый популярный тип модели машинного обучения.

Неконтролируемое машинное обучение ищет шаблоны в неразмеченных данных и может находить шаблоны и тенденции, которые пользователи не ищут явно. Примером этого является неконтролируемая программа машинного обучения, которая может анализировать данные онлайн-продаж, чтобы идентифицировать разных клиентов, совершающих покупки. Кластеризация и обнаружение аномалий — другие примеры неконтролируемых приложений машинного обучения.

Машинное обучение с подкреплением обучает машины методом проб и ошибок предпринимать наиболее эффективные действия, настраивая систему вознаграждения. Обучение с подкреплением используется для обучения моделей играть в игры и для обучения вождению автономных транспортных средств. Он сообщает машине, когда она приняла правильное решение, позволяя ей узнать, какие действия следует предпринять с течением времени. Игры и роботизированное управление являются одними из областей применения машинного обучения с подкреплением.

Машинное обучение обеспечивает работу механизмов рекомендаций, используемых на Youtube и Netflix. Он также определяет, какую информацию вы видите на своей странице в Facebook и в рекомендациях по продуктам. Чтобы обнаруживать мошеннические операции с кредитными картами, попытки входа в систему или спам по электронной почте, машины могут анализировать такие закономерности, как то, где кто-то тратит свои деньги или что он покупает. Точно так же в случае с чат-ботами и автоматическими линиями помощи покупатели и клиенты взаимодействуют с машинами, а не с людьми. Эти боты используют машинное обучение и обработку естественного языка, чтобы извлекать уроки из прошлых разговоров и давать правильные ответы. Точно так же многие технологии, лежащие в основе беспилотных автомобилей, основаны на машинном обучении, особенно на глубоком обучении. Программы машинного обучения также можно обучить анализировать медицинские изображения и другую информацию и искать признаки болезни. Например,

Обработка естественного языка — это раздел информатики, связанный с тем, что компьютеры понимают текст и произносимые слова так же, как люди. NLP сочетает в себе моделирование человеческого языка на основе правил вычислительной лингвистики со статистическими режимами, машинным обучением и режимами глубокого обучения. Эти технологии позволяют компьютерам обрабатывать текстовые и голосовые данные людей и понимать их полное значение. NLP — это набор компьютерных программ, которые могут быстро переводить текст с одного языка на другой, реагировать на голосовые команды и быстро обобщать большие объемы текста в режиме реального времени. Вы, вероятно, взаимодействовали с NLP с помощью голосовых систем GPS и цифровых помощников. NLP также является ключевым компонентом корпоративных решений, которые помогают оптимизировать бизнес-операции, повысить производительность труда сотрудников.

Задачи NLP помогают компьютерам понять, что они поглощают, разбивая текстовые и голосовые данные. Это лишь некоторые из задач:

• Распознавание речи , также известное как преобразование речи в текст, используется для надежного преобразования голосовых данных в текст. Любое приложение, использующее голосовые команды для ответа на устные вопросы или следования им, зависит от распознавания речи. Это сложно, потому что люди говорят быстро, часто невнятно, с разными акцентами и ударениями.
• Тегирование части речи — это процесс, который определяет часть речи для слова или фрагмента текста на основе его контекста и использования. Например, часть речи используется для определения «сделать» в следующих предложениях как глагол в «Я могу построить дом» и как существительное в «Какой марки автомобиля у вас есть?»
• Устранение неоднозначности смысла слова относится к процессу семантического анализа, в ходе которого определяется слово, имеющее смысл в данном контексте. Устранение неоднозначности смысла слова, например, помогает различать значения глагола «сделать» в «сделать оценку» и «сделать место».
• Распознавание именованных сущностей , или NEM, идентифицирует слова и фразы как полезные сущности. NEM распознает «Кентукки» как место или «Фред» как мужское имя.
• Разрешение совместных ссылок — это задача определения того, относятся ли два слова к одному и тому же объекту, и если да, то когда. Обычно это включает в себя определение лица или объекта, к которому относится конкретное местоимение (например, «она» = «Мэри»). Однако это может также включать определение метафоры или идиомы в тексте.
• Анализ настроений пытается извлечь из текста субъективные качества, такие как отношение, эмоции, сарказм, замешательство и подозрительность.
• Генерацию естественного языка иногда называют распознаванием речи или преобразованием речи в текст. Это процесс преобразования структурированной информации в удобочитаемый язык.

Новым дополнением к обработке естественного языка являются модели-трансформеры. Некоторые примеры моделей преобразователей, используемых в NLP, включают:

• BERT (представления двунаправленного кодировщика от трансформеров), разработанный Google, представляет собой предварительно обученную модель, которую можно точно настроить для различных задач понимания естественного языка, таких как распознавание именованных сущностей, анализ настроений и ответы на вопросы.
• GPT-2 (Generative Pre-trained Transformer 2), разработанный OpenAI, представляет собой предварительно обученную модель, которую можно точно настроить для различных задач генерации естественного языка, таких как языковой перевод, суммирование текста и завершение текста.
• T5 (преобразователь преобразования текста в текст), разработанный Google, представляет собой предварительно обученную модель, которую можно точно настроить для различных задач понимания и генерации естественного языка с использованием простой текстовой спецификации задачи.
• RoBERTa (надежно оптимизированный BERT), разработанный Facebook AI, представляет собой оптимизированную версию модели BERT, которая использует динамическое маскирование, большие размеры пакетов и более длительное время обучения для повышения производительности при выполнении различных задач NLP.
• ALBERT (A Lite BERT), разработанный Google, представляет собой версию BERT, предназначенную для того, чтобы быть меньше и быстрее, сохраняя при этом сопоставимую производительность в задачах понимания естественного языка.

Во многих реальных случаях использования NLP является движущей силой машинного интеллекта. Некоторые из его приложений включают обнаружение спама, машинный перевод, такой как Google translate, чат-боты и виртуальные агенты, сентиментальный анализ в социальных сетях и обобщение текста.

Компьютерное зрение — это область искусственного интеллекта, которая позволяет компьютерам и системам извлекать значимую информацию из цифровых изображений, видео и других визуальных входных данных. На основе этой информации они могут принять меры или дать рекомендации. Проще говоря, компьютерное зрение — это способность видеть, понимать и наблюдать с помощью ИИ. Компьютерное зрение обучает машины выполнять эти функции, для чего требуется меньше времени и больше данных, алгоритмов, камер и данных, чем для сетчатки, зрительных нервов и зрительной коры. С помощью компьютерного зрения вы можете обнаруживать малозаметные дефекты или проблемы в тысячах продуктов и процессов в минуту.

Это возможно с использованием двух технологий: типа машинного обучения, называемого глубоким обучением, и сверточной нейросети (CNN). Эти многоуровневые нейронные сети позволяют компьютеру учиться на визуальных данных. Компьютер может научиться отличать одно изображение от другого, если данных достаточно. Компьютер использует CNN для «просмотра» данных изображения, когда они проходят через модель. CNN используется, чтобы помочь модели машинного обучения/глубокого обучения понимать изображения, разбивая их на пиксели. Этим пикселям затем присваиваются метки, которые позволяют обучать определенные функции (аннотации изображения). Модель ИИ использует метки, чтобы делать прогнозы и анализировать то, что она «видит». Затем он итеративно проверяет точность своих прогнозов, пока они не оправдают ожидания.

В компьютерном зрении есть два типа семейств алгоритмов, особенно для обнаружения объектов. Одноэтапный алгоритм нацелен на максимальную скорость обработки и максимальную вычислительную эффективность. RetinaNet и SSD — самые популярные алгоритмы. С другой стороны, многоэтапные алгоритмы многошаговые и обеспечивают наилучшую точность, но они могут быть довольно тяжелыми и ресурсоемкими. Рекуррентные сверточные сети (RCN) — самые популярные многоэтапные алгоритмы, включая Fast RCNN и Mask-RCNN.

Вот некоторые методы компьютерного зрения:

Классификация изображений — это простейший метод компьютерного зрения, в основном классифицирующий изображение по одной или нескольким различным категориям. Классификатор изображений берет изображение и дает информацию об объектах на нем. Он не будет предоставлять никакой дополнительной информации, такой как количество присутствующих, цвет дерева, позиции предметов и так далее. Существует два основных типа классификации изображений: бинарная и многоклассовая классификация. Как следует из названия, классификация бинарных изображений ищет один класс в изображении и возвращает результаты в зависимости от того, есть ли у него этот объект. Мы можем обучить систему искусственного интеллекта обнаруживать рак кожи у людей и добиваться удивительных результатов, используя изображения с раком кожи и изображения без рака кожи.

Еще одним популярным методом компьютерного зрения является обнаружение объектов, которое можно использовать после классификации изображений или использовать классификацию изображений для обнаружения объектов в визуальных данных. Он используется для идентификации объектов в границах блоков и определения класса объекта на изображении. Обнаружение объектов использует технологии глубокого обучения и машинного обучения для получения полезных результатов. Люди могут распознавать объекты на изображениях и видео за считанные секунды. Обнаружение объектов направлено на воспроизведение человеческого интеллекта для обнаружения и идентификации объектов. Существует множество приложений для обнаружения объектов, таких как отслеживание объектов, поиск и добавление подписей к изображениям. Для обнаружения объектов можно использовать множество методов, в том числе R-CNN и YOLO v2.

Семантическая сегментация не только определяет классы в изображении, но и включает в себя классификацию изображений. Он классифицирует каждый пиксель изображения, чтобы определить, какие объекты у них есть. Он пытается определить роль каждого отдельного пикселя в изображении и классифицирует пиксели по определенной категории, не различая экземпляры объекта. Можно также сказать, что он классифицирует похожие объекты всех уровней пикселей как один класс. Семантическая сегментация поместит изображение с двумя собаками под одним и тем же ярлыком. Он пытается определить роль каждого пикселя в изображении.

Сегментация экземпляров может классифицировать объекты на уровне пикселей, подобно семантической сегментации, но на более высоком уровне. Сегментация экземпляров может классифицировать объекты схожих типов по разным категориям. Если визуальный ряд состоит из множества автомобилей, семантическая сегментация может идентифицировать их все. Однако сегментацию экземпляров можно использовать для их маркировки по цвету, форме и т. д. Сегментация экземпляров, обычная задача компьютерного зрения, сложнее других методов, поскольку требует визуального анализа данных с разным фоном и перекрывающимися объектами. CNN и сверточные нейронные сети могут использоваться для сегментации экземпляров. Они могут находить объекты на уровне пикселей, а не просто ограничивать их.

Паноптическая сегментация сочетает в себе экземплярную и семантическую сегментацию и является одним из самых мощных методов компьютерного зрения. Пантопическая сегментация может классифицировать изображения на уровне пикселей и идентифицировать отдельные экземпляры класса.

Обнаружение ключевых точек — это метод, который идентифицирует ключевые точки в изображении, чтобы предоставить больше информации об определенном классе объектов. Он обнаруживает людей и находит их ключевые точки, в основном фокусируясь на двух ключевых областях: обнаружение ключевых точек тела и обнаружение ключевых точек лица.

Например, обнаружение ключевых точек лица определяет ключевые черты лица, такие как нос, глаза и углы. Распознавание лиц, определение позы и другие являются одними из основных приложений для обнаружения ключевых точек. Оценка позы позволяет нам определить, какую позу использует человек на изображении. Обычно это включает в себя расположение головы, глаз и носа, а также расположение рук, плеч, ног, кистей, шеи, груди и коленей. Это может быть сделано один на один или для нескольких человек в зависимости от необходимости.

Сегментация человека — это метод сегментации изображения, который отличает человека от фона. Это можно сделать после оценки позы. Благодаря этому мы можем определить точное местоположение и позу человека на изображении.

Восприятие глубины — это метод компьютерного зрения, который предоставляет компьютерам визуальные возможности для определения глубины и расстояния объектов от их источника. Его можно использовать для многих целей, таких как реконструкция объектов в дополненной реальности, робототехника и беспилотные автомобили. LiDAR (обнаружение света и определение дальности) — один из самых популярных методов глубокого восприятия. Лазерные лучи используются для измерения расстояния между объектами, направляя на них лазерный свет и измеряя их отражение с помощью датчиков.

Как следует из названия, субтитры к изображениям — это добавление к изображению подписи, которая описывает его, и для этого используются нейронные сети. Когда мы подаем изображение в качестве входных данных, оно генерирует заголовок, описывающий изображение, что является задачей не компьютерного зрения, а также задачей NLP

Реконструкция 3D-объектов, как следует из названия, представляет собой метод извлечения 3D-объектов из 2D-изображений. Это быстро развивающаяся область компьютерного зрения и может быть реализована по-разному в зависимости от объекта. PiFuHD — одна из самых популярных статей по этой технике, в которой обсуждается трехмерная оцифровка человека.

Компании быстро внедряют технологии компьютерного зрения во всех отраслях, чтобы решать проблемы автоматизации с компьютерами, которые могут видеть. Технология визуального ИИ быстро совершенствуется, позволяя реализовывать новые проекты и идеи компьютерного зрения. Например, обнаружение средств индивидуальной защиты, подсчет объектов, автоматизированная проверка продукции и автоматизация процессов — вот некоторые из применений методов промышленного компьютерного зрения в производстве. Точно так же автоматизированное обнаружение падения человека является широко используемым применением компьютерного зрения в здравоохранении. Компьютерное зрение также применяется в сельском хозяйстве, безопасности, умных городах, розничной торговле, страховании, логистике и фармацевтике.

Глубокое обучение — это метод машинного обучения, который учит компьютеры естественным образом делать то, что могут делать люди. Он учит компьютеры обрабатывать данные подобно мыслительному процессу человеческого мозга. Модели глубокого обучения могут распознавать сложные текстовые, графические и звуковые паттерны и давать точные выводы и прогнозы. Используя глубокое обучение, мы можем автоматизировать задачи, которые обычно требуют человеческого интеллекта. Компоненты глубокого обучения следующие:

• Входной слой

Нейронная сеть имеет множество узлов, которые вводят в нее данные. Эти узлы образуют входной слой искусственной нейронной сети.

• Скрытый слой

Входной слой обрабатывает данные и передает их слоям нейронной сети. Эти скрытые слои обрабатывают информацию на разных уровнях и адаптируют свое поведение по мере получения новой информации. Сети глубокого обучения могут анализировать проблему со многих сторон, используя сотни скрытых слоев. «Глубокий» часто используется для обозначения количества скрытых слоев нейронной сети.

Если бы вам дали изображение неизвестного существа, которое вам нужно классифицировать, то вы бы сравнили его с животными, с которыми вы знакомы. Вы бы изучили форму животного, уши и размер, рисунок меха и количество ног. Вы можете попытаться определить закономерности с коровами, оленями или другими животными с копытами. Скрытые слои глубоких нейронных сетей работают точно так же. Алгоритмы глубокого обучения используют эти скрытые слои для классификации изображений животных. Каждый слой обрабатывает разные аспекты животного, чтобы помочь им классифицировать его.

• Выходной слой

Эти узлы производят данные, составляющие выходной слой. Два узла необходимы для моделей глубокого обучения, которые выводят ответы «да» или «нет». Однако модели, дающие более широкий диапазон ответов, имеют больше узлов. В глубоком обучении используются архитектуры нейронных сетей, поэтому многие модели глубокого обучения называются высокопроизводительными нейронными сетями. Глубокие сети могут содержать до 150 слоев.

Модели глубокого обучения можно обучать, используя большие объемы размеченных данных. Используя архитектуру нейронной сети, он изучает функции из данных, не требуя извлечения функций.

Вот некоторые из широко используемых алгоритмов глубокого обучения:

• Сети долговременной кратковременной памяти (LSTM)
• Рекуррентная нейронная сеть (RNN)
• Сверточная нейронная сеть (CNN)
• Ограниченная машина Больцмана (RBM)
• Автоэнкодеры
• Общие состязательные сети (GAN)
• Радиальные базисные функциональные сети (RBFN)
• Многослойные персептроны (MLP)
• Сети глубокого убеждения (DBN)
• Самоуправляемые автомобили, помощь с голосовым управлением, автоматическое создание подписей к изображениям и автоматический машинный перевод — вот некоторые приложения для глубокого обучения.

Генеративный ИИ включает неконтролируемые или полуконтролируемые алгоритмы машинного обучения, которые позволяют компьютерам использовать существующие текстовые, аудио- и видеофайлы и даже код для создания нового контента. Цель состоит в том, чтобы создавать оригинальные предметы, которые выглядят точно так же, как настоящие. Генеративный ИИ — это метод, который позволяет компьютерам абстрагировать базовые шаблоны входных данных, чтобы они могли генерировать новый выходной контент.

Вместо того, чтобы предсказывать, каким функциям будет присвоена конкретная метка, генеративные алгоритмы пытаются предсказать, какие функции будут присвоены этой метке. В то время как дискриминационные алгоритмы сосредоточены на отношениях между x и y, генеративные модели озабочены тем, как получить x. Математически мы можем использовать генеративное моделирование для расчета вероятности того, что x или y встречаются вместе. Он изучает не границы, а распределение отдельных признаков и классов. Генеративные модели изучают особенности и их отношения, чтобы понять объект. Эти алгоритмы могут воссоздавать изображения объектов, даже если они не являются частью обучающей выборки. Генеративный алгоритм — это метод целостного моделирования процесса без отбрасывания каких-либо данных. GAN и другие алгоритмы моделей трансформаторов являются примерами таких инновационных технологий.

Давайте обсудим две самые популярные модели генеративного ИИ.

• Генеративно-состязательные сети или GAN — это технологии, которые создают мультимедийные артефакты, используя как текстовые, так и графические входные данные. Это алгоритм машинного обучения, который противопоставляет друг другу две нейронные сети — генератор и дискриминатор. Вот почему он называется противоборствующим. Соревнование между двумя нейронными сетями представляет собой игру с нулевой суммой, в которой один агент выигрывает, а другой проигрывает. GAN состоят из двух моделей:

Генератор — нейронная сеть, которая создает поддельные входные данные или поддельные выборки из случайного вектора (список, содержащий математические переменные, значения которых неизвестны).

Дискриминатор — эта нейронная сеть может идентифицировать поддельные образцы из генератора и настоящие образцы из домена. Двоичный дискриминатор возвращает вероятности числа от 1 до 0. Чем больше вероятность того, что результат является ложным, тем ближе он к 0. Верно и обратное: числа, близкие к 1, указывают на большую вероятность того, что прогноз будет точным.

И генератор, и дискриминатор могут использоваться в качестве CNN, особенно при работе с изображениями.

• Модели на основе преобразователя. Такие технологии, как языковые модели с генеративной предварительной подготовкой (GPT), используют информацию из Интернета для создания текстового контента, от пресс-релизов до технических документов и статей на веб-сайтах. GPT3 и LaMDA — два самых популярных примера моделей на базе трансформатора.

Преобразователь преобразует одну последовательность в другую. В этой модели полууправляемое обучение обучается с использованием больших немаркированных наборов данных, а затем настраивается с помощью обучения с учителем для повышения производительности. Кодер обрабатывает входную последовательность, которая извлекает все функции из последовательности и преобразует их в векторы. (например, векторы, представляющие семантику и положение слова в предложении). Затем он передает их декодеру. Декодер отвечает за выходную последовательность. Каждый декодер принимает выходные данные уровня кодировщика и извлекает контекст для создания выходной последовательности. Преобразователи используют обучение от последовательности к последовательности, что означает, что преобразователь использует последовательность токенов для предсказания следующего слова в выходной последовательности. Это делают итерирующие слои кодировщика.

Некоторые приложения генеративной модели включают генерацию изображений, преобразование изображения в текст, преобразование текста в изображение, преобразование текста в речь, создание звука, создание видео, повышение разрешения изображения и видео, а также создание синтетических данных.

Экспертная система — это интерактивная, надежная компьютерная система принятия решений с использованием ИИ, которая использует факты и эвристику для решения сложных проблем принятия решений. Человеческий интеллект и опыт высочайшего уровня решают самые сложные проблемы в конкретной области.

База знаний экспертной системы — это то, что придает ей силу. Это набор фактов и эвристик, организованных в отношении предметной области системы. Экспертная система строится в процессе, называемом инженерией знаний , в ходе которого знания о предметной области собираются от экспертов-людей и из других источников. Экспертные системы характеризуются накоплением знаний в банках знаний, которые можно использовать для получения выводов из механизма логического вывода. База знаний экспертной системы содержит как фактические знания, так и эвристическую информацию. Представление знаний — это то, как знания организованы в базе знаний. Эти базы знаний представляют такие понятия, как действия, которые могут быть предприняты в зависимости от обстоятельств, причинно-следственной связи и времени.

Механизм логического вывода объединяет факты конкретного случая со знаниями из базы знаний для получения рекомендации. Механизм вывода управляет порядком применения продукционных правил в экспертной системе, основанной на правилах. Факты дела фиксируются в рабочих воспоминаниях, которые действуют как классная доска и накапливают соответствующие знания. Механизмы логического вывода неоднократно применяют правила к рабочей памяти, добавляя новую информацию до тех пор, пока не будет достигнуто или подтверждено целевое состояние.

Экспертная система работает в основном по двум механизмам, как описано ниже:

Прямая цепочка — это стратегия, основанная на данных. Процесс вывода приводит к выводу из фактов дела. Эта стратегия основана на фактах по делу и бизнес-кейсах, которые могут их удовлетворить. Механизмы вывода пытаются сопоставить условия (IF), часть каждого правила, в базе знаний с фактами, находящимися в настоящее время в рабочей памяти. При совпадении нескольких правил будет запущена процедура разрешения конфликтов. Например, срабатывает правило с наименьшим номером, которое добавляет новую информацию. Заключение правила стрельбы добавляется в рабочую память. Системы прямой цепочки могут решать открытые проблемы проектирования и планирования, такие как создание конфигурации для сложного продукта.

Обратная цепочка — это процесс, в котором механизм логического вывода пытается сопоставить гипотезу с выводом (ТО). Если такое правило может быть найдено, посылка правила становится новой подцелью. Эта стратегия хороша для экспертной системы с несколькими возможными целевыми состояниями. В этом процессе система попытается предоставить другое целевое состояние, если предпосылки не поддерживают гипотетическую цель. Таким образом, все возможные выводы пересматриваются до тех пор, пока целевое состояние не будет поддерживаться в предпосылках.

Обратная цепочка лучше всего работает для приложений, где возможные выводы невелики и четко определены. Эти системы часто используются для диагностики или классификации пациентов. Затем каждый возможный вывод можно сверить с данными, чтобы подтвердить достоверность.

Анализ кредитов, торговля на фондовом рынке, обнаружение вирусов, оптимизация складов и планирование авиалиний — вот лишь некоторые из областей применения экспертных систем.

• Мы можем описать экосистему ИИ как имеющую следующие четыре уровня.
• Уровень данных
• Фреймворки и пакеты машинного обучения или уровень алгоритма
• Слой модели
• Прикладной уровень

Искусственный интеллект включает в себя множество технологий, таких как машинное обучение, обработка естественного языка, распознавание изображений и т. д., которые обсуждались в предыдущем разделе. Данные играют наиболее важную роль в функционировании всех этих технологий, которые также являются базовым уровнем технологий ИИ. Этот слой играет ключевую роль в подготовке данных.

В многоуровневом подходе основных технологий ИИ аппаратную платформу и низкоуровневые примитивы можно рассматривать как подуровень уровня данных, поскольку они обеспечивают необходимую инфраструктуру для обучения и запуска моделей ИИ. Они позволяют разработчикам оптимизировать производительность моделей ИИ и использовать наиболее подходящее оборудование для конкретной задачи.

Когда дело доходит до обработки больших объемов данных, ключевыми аспектами являются мощные машины. Итеративные алгоритмы требуют непрерывного обучения и моделирования, что требует гибкой и надежной ИТ-инфраструктуры. Кроме того, современные современные методы, такие как алгоритмы глубокого обучения, требуют больших вычислительных ресурсов.

GPU является важным дополнением к этому требованию. Базовые операции, такие как матричные вычисления и параллельные вычисления относительно простых уравнений, чрезвычайно полезны для вычисления алгоритмов ML. Графические процессоры можно даже использовать для обучения нейронных сетей — моделирования человеческого мозга, которые составляют основу современного машинного обучения. Аппаратная конструкция этих графических процессоров изначально предназначалась для графических вычислений, а не для искусственного интеллекта. Однако все быстро меняется.

Эти машины, особенно модель IaaS, предоставили вычислительные ресурсы и ресурсы памяти, необходимые для обработки больших объемов данных, что значительно сократило время, необходимое для обучения алгоритмов машинного обучения. То, что раньше в традиционном центре обработки данных выполнялось за несколько недель, теперь выполняется в облаке всего за несколько часов.

Низкоуровневые программные библиотеки, такие как Intel Math Kernel Library и Nvidia CuDNN, которые напрямую работают с графическими процессорами, являются другой стороной уравнения. Это значительно увеличило скорость обработки GPU ML. Преимущество в скорости также доступно, когда в ЦП интегрирован тот же код, что и в Intel MKL. Библиотеки CuDNN и MKL можно создавать и интегрировать в платформы для увеличения использования оборудования и извлечения информации без необходимости в инженерах-программистах.

Доступность больших объемов данных, а также доступ к надежным инфраструктурам, таким как AWS, меняют ландшафт машинного обучения. Инженеры по машинному обучению, которые работают с учеными по данным, чтобы понять бизнес и теоретические аспекты конкретной области, создают платформы ML. Вот некоторые из популярных фреймворков ML:

• TensorFlow — программная библиотека с открытым исходным кодом для машинного обучения, разработанная командой Google Brain Team.
• PyTorch — библиотека машинного обучения с открытым исходным кодом, разработанная исследовательской лабораторией искусственного интеллекта Facebook.
• Scikit-Learn — простая и эффективная библиотека для машинного обучения на Python.
• Keras — высокоуровневый API нейронных сетей, написанный на Python и способный работать поверх TensorFlow, CNTK или Theano.
• Caffe — среда глубокого обучения, разработанная Berkeley AI Research и участниками сообщества.
• Microsoft Cognitive Toolkit (CNTK) — набор инструментов для глубокого обучения, разработанный Microsoft.
• LightGBM — платформа повышения градиента, использующая алгоритмы обучения на основе дерева.
• XGBoost — библиотека повышения градиента, предназначенная для скорости и производительности.
• Spark MLlib — библиотека машинного обучения для платформы Apache Spark.
• Random Forest — популярный ансамблевый метод классификации и регрессии, реализованный во многих библиотеках, таких как scikit-learn, R и Weka.

При многоуровневом подходе основных технологий ИИ фреймворки и пакеты машинного обучения можно рассматривать как часть уровня алгоритмов, поскольку они предоставляют необходимые функции для реализации и обучения моделей ИИ и позволяют разработчикам использовать предварительно созданные функции и классы для построения и обучения моделей легко.

Уровень модели технологии ИИ реализует модели ИИ, обученные и точно настроенные с использованием данных и алгоритмов из слоя алгоритмов. Этот уровень обеспечивает фактическую способность системы ИИ принимать решения. Этот слой создается несколькими компонентами, как описано ниже:

Это наиболее важный компонент уровня модели, относящийся к архитектуре модели. Этот слой технологии ИИ определяет мощность и выразительность модели. Он включает в себя количество слоев, количество нейронов на слой и тип используемых функций активации.

Структуры моделей можно разделить на несколько категорий, таких как нейронные сети с прямой связью, сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN), автоэнкодер и генеративно-состязательные сети (GAN). Выбор конкретной модели зависит от доступных данных, предметной области и доступных ресурсов.

Это относится к значениям, полученным в процессе обучения, таким как веса и смещения нейронной сети. Эти параметры делают прогнозы и решения на основе входных данных. В нейронных сетях параметрами модели являются веса и смещения нейронов в каждом слое, где веса определяют силу связей между нейронами, а смещения определяют порог активации каждого нейрона.

Это метрика, используемая для оценки производительности модели во время обучения. Он измеряет разницу между прогнозируемым выходом и истинным выходом и используется для управления процессом оптимизации модели. Цель тренировочного процесса – свести к минимуму потерю функции.

Стоит отметить, что в некоторых случаях возможно использование разных функций потерь в зависимости от этапа обучения, например, использование BCE на ранних этапах обучения, а затем переход на CEL на более поздних этапах; этот метод называется обучением по учебной программе.

Оптимизатор в технологии искусственного интеллекта — это алгоритм, который корректирует параметры модели для минимизации функции потерь. Это важнейший компонент уровня модели, отвечающий за обновление параметров модели в процессе обучения.

Существует несколько типов оптимизаторов, каждый из которых имеет свои сильные и слабые стороны, такие как градиентный спуск (GD), адаптивный алгоритм градиента (AdaGrad), адаптивная оценка момента (Adam), среднеквадратичное распространение (RMSprop), радиальная базовая функция (RBF) и BFGS с ограниченной памятью (L-BFGS). Выбор оптимизатора зависит от проблемной области, доступных данных и доступных ресурсов. Например, если это разреженные данные и много функций, оптимизатор AdaGrad — лучший выбор. Точно так же для нестационарных данных более подходящими являются Adam или RMSprop.

Стоит отметить, что мы можем выбрать оптимизатор на основе типа модели, размера данных и доступных вычислительных ресурсов, а в некоторых случаях для повышения производительности можно использовать комбинацию нескольких оптимизаторов с разными параметрами.

Регуляризация в технологии искусственного интеллекта — это метод, предотвращающий переоснащение, распространенную проблему в машинном обучении. Переобучение происходит, когда модель слишком сложна и слишком сильно адаптируется к обучающим данным, что приводит к снижению производительности на новых и невидимых данных. Методы регуляризации помогают ограничить модель и улучшить ее способность к обобщению. Несколько типов методов регуляризации, каждый со своими сильными и слабыми сторонами, такие как регуляризация L1 (лассо), регуляризация L2 (гребень), эластичная сеть, отсев и ранняя остановка.

Стоит отметить, что этот слой может иметь разные типы моделей, такие как контролируемые, неконтролируемые и модели подкрепления, каждая из которых имеет свои требования. При разработке моделей на этом уровне следует учитывать проблемную область и доступные данные.

Этот уровень представляет, как системы ИИ используются для решения конкретных проблем или выполнения определенных задач. Это охватывает широкий спектр приложений, таких как принятие решений, обработка естественного языка и методы компьютерного зрения. Этот уровень решает реальные проблемы и обеспечивает ощутимые преимущества для отдельных лиц и компаний.

Робототехника, игры, биоинформатика и образование — вот еще несколько областей применения ИИ.