Системи з самоорганізацією та самонавчанням
Лабораторна робота №1

AI-платформи і сервіси

Мета роботи. Ознайомитися з популярними AI (Artificial Intelligence) веб-сервісами, дослідити їх функції та можливості. Ознайомитися з бібліотеками та продуктами на новітніх платформах штучного інтелекту. Провести низку експериментів на доступних сервісах і проаналізувати отримані результати.

Інтернет з кожним днем все більше нагадує самоорганізоване середовище, що еволюціонує з шаленою швидкістю.

Розробкою інтелектуальних додатків займаються спільноти, що об'єднані спільними ідеями, цілями та інтересами, які готові витрачати свій час і ресурси на втілення цих ідей. Тому, з кожним днем в Інтернеті з'являється все більше розумних програм, їх функціонал стає все ширше, а відвідувачі перетворюються зі споживачів в активних творців контенту.

Технології штучного інтелекту в IT-індустрії задіяні для численних проектів в цій сфері, вражаюче за масштабами проникнення інтелекту практично у всі області сучасного життя - від медицини, експертних систем і наукових досліджень до промислової робототехніки і безпілотного транспорту. Напрямок машинного навчання і нейронних мереж активно розвивається і вдосконалюється, в ньому задіяні Intel, AMD, NVIDIA, IBM, Google, Facebook, ABBYY, а також тисячі інших компаній-розробників по всьому світу.

Ще 20 років тому штучний інтелект можна було протестувати тільки в крутих лабораторіях або великих компаніях, а сьогодні це доступно для більшості зацікавлених людей і його значне зростання передбачає багато аналітиків.

Aixploria - каталог популярних AI-інструментів

Aixploria - це найбільший список сайтів, які використовують технології штучного інтелекту і дозволяє знайти найкращі онлайн-сервіси на основі нейромереж. На сайті є вибірка списків, впорядкованих за категоріями, що полегшує пошук штучного інтелекту, який відповідає критеріям користувача.

Завдяки інтуїтивно зрозумілій пошуковій системі, можна легко знайти правильний інструмент для різних потреб. На кожній сторінці є докладний опис сервісу, умов його використання та інструкції. На сайті створено новий спеціальний розділ "топ-10 АІ". Він оновлюється в режимі реального часу і дозволяє відразу побачити 10 найкращих АІ у кожній категорії. Це допомагає зорієнтуватися, оскільки щодня з'являється багато нових сервісів.

Також, сервіс пропонує розділ зі статтями, написаними експертами зі штучного інтелекту, які допоможуть зрозуміти останні тенденції та найпопулярніші програми, які можна використовувати для збільшення власної ефективності.

Платформа Google AI

Компанія Google об'єднала передові дослідження, всі проекти Google Research та розробки, пов'язані зі штучним інтелектом та машинним навчанням під одною назвою - Google AI. Google.ai є базою всіх напрацювань компанії, пов'язаних з ШІ: досліджень, інструментів і розробок на його основі.

На сайті розміщують дослідження від Google та її підрозділу Brain. Крім Google, питаннями машинного навчання займаються університети і приватні лабораторії по всьому світу, і компанія хоче зробити їх дослідження доступними для всіх.

Створення моделей машинного навчання займає дуже багато часу і фінансових ресурсів, але Google.ai націлений на поширення досягнутих результатів, щоб зробити машинне навчання більш доступним.

Вдосконалюється інструмент AutoML, метою якого є вдосконалення нейронних мереж, що спроможні генерувати інші нейронні мережі, а навчання з підкріпленням може застосовуватися у більш складних завданнях.

Експерименти з Google

Компанія Google представила проект AI Experiments, в якому користувачі можуть працювати з нейромережами і алгоритмами машинного навчання, дізнатися, що вони вміють робити і як «бачать» надані їм дані, а також поділитися своїми напрацюваннями в цій галузі.

З 2009 року кодери створили тисячі додатків за допомогою Chrome, Android, AI, Web VR, AR та інших. Сервіс демонструє проекти, а також корисні інструменти та ресурси, щоб надихнути створення нових експериментів. Колекція постійно поповнюється новими додатками, деякі з них надаються для використання чи вивчення.

Сервіс допомагає користувачам розібратися, як працюють основні алгоритми машинного навчання, код будь-якого додатку можна завантажити і вивчити самостійно. У розробників є можливість розмістити на сайті власні алгоритми, щоб отримати зворотній зв'язок або навчити алгоритм.

Платформа PlaygroundAI

Playground – це інноваційна нейромережа, розроблена для створення зображень на основі текстових описів. Сервіс використовує спрощені алгоритми Stable Diffusion та DALL-E 2 та має власні стилі та ефекти, які можна застосувати до отриманих зображень.

У Playground AI представлені два основні режими, що пропонують унікальний функціонал:

  • Режим генерації зображень на основі текстових описів. У цьому режимі можна описувати бажане зображення за допомогою тексту, а нейромережа Playground AI згенерує відповідну візуалізацію. Можна досліджувати різні варіанти, грати з описами та спостерігати, як нейромережа перетворює їх на унікальні зображення.
  • Спільнота користувачів. Playground AI також пропонує платформу для активної взаємодії в спільноті користувачів. Тут можна ділитися своїми згенерованими зображеннями, а також переглядати та надихатись роботами інших учасників. Це чудова можливість побачити різноманітність творчих ідей та стилів, які створено за допомогою нейромережі.

За допомогою обох режимів можна користуватися функціональністю Playground AI та створювати унікальні зображення на основі текстових описів, а також взаємодіяти із спільнотою для обміну творчими ідеями.

Платформа Clipdrop

Clipdrop — велика екосистема додатків та плагінів для редагування фото, на базі штучного інтелекту. Clipdrop здатен автоматично очищати та видаляти об’єкти, людей, текст, дефекти з фотографій, а також видаляти фон і замінювати його новим. Можна покращити якість зображення завдяки можливості повторного освітлення й масштабування. Надається API для інтеграції з іншими інструментами. Додаток має значний попит у великих платформ електронної комерції, торгових посередників, великих і малих компаній.

Інструментарій Clipdrop

  • Cleanup. Інструмент очищення, який дозволяє швидко й ефективно видаляти небажані об’єкти, людей, текст або дефекти з фотографій, виділивши необхідну зону за допомогою пензлика.
  • Видалити фон. Інструмент дозволяє легко видаляти фон із зображень. Цей інструмент використовує передові алгоритми штучного інтелекту для точного відокремлення об’єкта на передньому плані від фону, дозволяючи замінювати або змінювати його за потреби.
  • Relight. Інструмент допомагає керувати освітленням та атмосферою зображень. Підвищити загальну яскравість, виділити певні ділянки чи створити певний настрій, інструмент Relight забезпечить точний контроль над ефектами освітлення, регулюючи всі види освітлення.
  • Підвищити якість зображення. Функція Image Upscale використовує алгоритми штучного інтелекту для підвищення роздільної здатності та якості зображень. Він використовує складні методи для збільшення масштабу зображень, не втрачаючи жодних важливих деталей, завдяки чому зображення стає чіткішим й детальнішим. Не виходячи з інструменту можна налаштувати освітлення, видалити дефекти чи фон.
  • Замінити фон. Окрім видалення фонів, ClipDrop також дозволяє замінити його новим. Можна використати суцільний колір, мальовничий пейзаж чи індивідуально розроблений фон, інструмент значно спростить трансформацію візуального контексту за допомогою потужних алгоритмів. Потрібно додати зображення та вписати у вільне поле текст з описом фону, який потрібно вбудувати у зображення, замінивши чинний.
  • Засіб для видалення тексту. Інструмент для видалення тексту може видаляти текстові накладення, водяні знаки або небажані текстові елементи із зображень, зберігаючи навколишній візуальний вміст. Потрібно додати зображення, де необхідно видалити текст, виділіти текст і натиснути "Видалити".
  • Reimagine XL. Преміум функція, яка надає розширені можливості для обробки зображень високої роздільної здатності. Цей інструмент розроблено спеціально для роботи з більшими та складнішими зображеннями. Потрібно вибрати фотографію, завантажити її в ClipDrop, де згенерується ряд альтернативних варіантів зображення. Після цього можна обрати одне з них (або всі) та завантажити на свій пристрій.
  • Stable Diffusion. Оновлення від ClipDrop! Класичний інструмент для генерації зображень на основі Stable Diffusion та за допомогою текстових підказок. Працює за тим самим алгоритмом, як інші та дозволяє генерувати зображення в одному додатку, не перемикаючись між вкладками. Потрібно сформувати детальну текстову підказку, обрати стиль та натиснути "Згенерувати".

Платформа Vance AI

Vance AI – ефективна нейромережа для обробки зображень, яка надає унікальні можливості для покращення якості фотографій. Використовуючи передові технології штучного інтелекту, Vance AI може значно покращити якість одиночних, так і групових знімків. Vance AI пропонує кілька різних інструментів для обробки фотографій, таких як видалення шумів, збільшення роздільної здатності, поліпшення якості зображення, автокорекція та багато інших.

У порівнянні з іншими популярними сервісами, Vance AI пропонує велику швидкість обробки зображень, конвертацію фотографій в інші формати, такі як PNG, JPG і WebP, а також зменшувати розмір зображення, не погіршуючи його якість.

  • VanceAI Image Enlarger – для збільшення розміру фотографії без втрати якості.
  • VanceAI Image Denoiser – для видалення шумів із зображення.
  • VanceAI Image Sharpener – для покращення чіткості зображення.
  • VanceAI Image Enhancer – допомагає автоматично підвищити роздільну здатність фотографій, збільшити чіткість деталей і налаштувати колір.
  • VanceAI Photo Restorer - допомагає відновити старі фотографії, видаляє подряпини, розриви, плями, пил і сепію.
  • VanceAI Photo Colorizer - допомагає перетворити чорно-білу фотографію на кольорову, покращувати обличчя та автоматично виправляти жовті відтінки.
VanceAI
Рис.1. Результат виконання сервісу VanceAI Photo Restorer

Vance AI – це потужний інструмент для покращення та редагування фотографій, доступний кожному користувачеві. Він має багато корисних функцій і є альтернативою дорогим і складним фото-редакторам.

Платформа Vmake

Vmake — це АІ-сервіс, який покращує якість відео та зображень. Vmake мінімізує шуми, підвищує чіткість, деталізацію та плавність, а також може збільшити роздільну здатність відео до 4К. Сервіс може покращити записи, зроблені на старі смартфони або фотоапарати-мильниці. Vmake надає можливість замінити фон на зображення, анімацію або просто зробити його прозорим. Є й інструмент видалення водяних знаків.

Інструменти для обробки відео

Інструменти для обробки фотографій

Платформа Nvidia AI Playground

Nvidia запустила платформу AI Playground для редагування фотографій за допомогою нейронних мереж. Інтерфейс платформи AI Playground простий і експериментувати з обробкою фото можуть всі бажаючі. Наразі представлено три продукти для обробки зображень.

  • Image Inpainting. Використовує згорткові нейронні мережі, щоб видаляти одні деталі на фотографії та заповнювати їх більш відповідними. Нові деталі добре поєднуються із зображенням та не вимагають подальшої обробки.
  • Artistic Style Transfer. Переносить стиль одного зображення інше. Наприклад, можна завантажити свою фотографію, а нейронна мережа перетворює її на зображення в стилі картини Ван Гога, можна також змінити денний пейзаж на нічний.
  • Photorealistic Image Synthesis. Модель для синтезу фотореалістичних зображень. Для створення фотографій застосовуються генеративно-змагальні мережі.

Компанія розробляє інші проекти, які базуються на нейронних мережах і глибокому навчанні.

Nvidia InPainting
Рис.2. Результат виконання сервісу Nvidia Image Inpainting

АІ-сервіси для виконання різних завдань

PoemPortrets

Сервіс від Google Arts & Culture Experiments експериментує на перетині штучного та людського інтелекту - поєднання поезії, дизайну та машинного навчання. PoemPortrets - це автопортрет користувача, на який накладено унікальну поему, що створена штучним інтелектом.

Для роботи сервісу потрібно вказати ключове слово для вірша і зробити селфі. Зазначене слово буде розширено на оригінальні поетичні рядки за алгоритмом, який базується на вивчений мільйонах слів поезії ХІХ століття. Після виконання обчислень користувач отримує унікальний PoemPortrets свого обличчя, на який накладено оригінальні поетичні рядки. Всі створені поетичні рядки в подальшому поєднуються, щоб поповнювати колективну поему (рис.3).

Сервіс не копіює і не переробляє існуючі фрази, а використовує навчальний матеріал для побудови складної статистичної моделі. В результаті алгоритм генерує оригінальні фрази, що імітують стиль того, на чому він навчався. Отримані вірші можуть бути як змістовними так й безглуздими.

PoemPortrets
Рис.3 Результат виконання сервісу PoemPortrets
Розфарбовування чорно-білих фотографій Colourise

Colourise — це сервіс на основі штучного інтелекту, який спрощує весь процес розфарбовування. За допомогою Colourise можна розфарбовувати чорно-білі фотографії на 100% автоматично. Завдяки технології розфарбовування штучного інтелекту та глибокому навчанню AI Photo Colorizer дозволяє розфарбовувати фотографії за лічені секунди.

Colourise
Рис.5. Результат виконання сервісу Colourise
Покращення якості фотографій Let's Enhance

Let's Enhance - український стартап, сервіс по обробці зображень, який за допомогою нейромереж збільшує здатність знімків, відновлює деталі і підвищує чіткість. Let's Enhance запустили в листопаді 2017 року і на сьогодні сервіс обробив більше мільйона фотографій.

В основі сервісу покладено кілька об'єднаних нейронних мереж. Щоб навчити нейронні мережі, надають сотні тисяч знімків парами в низькій і високій роздільності. Алгоритм нейронної мережі навчений на великій базі знімків, яка завдяки знанням типових об'єктів і текстур вміє відновлювати деталі і зберігати чіткі лінії і контури оброблюваних зображень. Let's Enhance може не лише збільшувати розмір фотографії в чотири рази, але й видаляти шуми і артефакти стиснення на знімках формату JPEG, домальовувати відсутні дрібні деталі, роблячи картинку максимально реалістичною (рис.6). Для ефективної обробки за часом і витратами, сервіс використовує потужності відеокарт - обробляти дані на CPU невигідно.

Let's Enhance
Рис.6. Результат виконання сервісу Let's Enhance
Анімація фотографій Deep Nostalgia

Сервіс MyHeritage розробив функцію Deep Nostalgia для «оживлення» людей на фотографії. Нейромережа здатна зробити анімацію як з сучасних цифрових так й зі старих чорно-білих знімків. Щоб оживити портрет, потрібно зареєструватися на сайті та завантажити фотографію. Алгоритм обробки робить статичний знімок, і у людини на зображенні з'являється миміка - вона почне повертати голову, моргати і посміхатися.

Deep Nostalgia
Рис.7. Результат виконання сервісу Deep Nostalgia
Створення абстрактних зображень Dream

Dream використовує нейромережу Google, яка аналізує зображення. За мотивами пошукового слова чи вмісту зображення створюється абстрактне зображення у обраному стилі.

Dream
Рис.8. Результат виконання сервісу Dream
Видалення фону Remove.bg

Безкоштовний сервіс, що дозволяє видалити фон на фотографіях без використання графічних редакторів. Після завантаження зображення система автоматично, з використанням алгоритмів штучного інтелекту виділяє об'єкти на передньому плані і прибирає все зайве. Наразі алгоритми краще справляються з видаленням фону з фотографій, на яких зображені люди (рис.9). Однак інструмент може працювати і іншими об'єктами на передньому плані, якщо вони чітко визначені. Також застосовують додаткові алгоритми, що покращують якість дрібних деталей.

Remove.bg
Рис.9. Результат виконання сервісу Remove.bg
Видалити зайві об’єкти Anything AI

Anything AI спроможний домалювати картинку чи замінити будь-який предмет. Сервіс робить те саме, що і гучний Generative Fill від Adobe Photoshop, але нічого на комп'ютер ставити не потрібно. На сайті користувач завантажує фотографію, пише промпт та отримує результати.

Anything AI
Рис.10. Результат виконання сервісу Anything AI

До завантаження приймаються картинки будь-якого розміру, підсумковий варіант зображення (файл формату PNG з прозорим фоном) обмежений розміром 500 на 500 пікселів.

Стилізація фотографії Vispunk

Vispunk реалізує підхід, орієнтований на зображення, до робочого процесу Generative AI. Перетягніть картинку у відповідне поле. Обрати відповідний стиль і натиснути Restyle. (Ви також можете описати своє зображення, щоб допомогти ШІ зрозуміти, що створити.)

Vispunk
Рис.10. Результат виконання сервісу Vispunk
Підбір музичного супроводу до зображення Imaginary Soundscape

Японська студія Qosmo розробила нейромережу Imaginary Soundscape, яка підбирає озвучення до завантажених фотографій чи зображень. Наприклад, до фотографії дитини в ліжечку нейромережа підбере дитячий плач, до зображення станції метро - звук потягу, до знімку пляжу - шум хвиль.

Люди при погляді на фотографію можуть уявити звуки, що в реальності супроводжують зображення: пейзаж пляжу може нагадати про звук гуркоту хвиль, жвава вулиця - звуки автомобілів і вуличної реклами. Imaginary Soundscape - це мережна звукова інсталяція, що сфокусована на цьому несвідомому досвіді. Користувач може пересуватися по Google Street View і занурюватися в уявні звукові ландшафти, що створені за допомогою моделей глибокого навчання.

Ця робота заснована на розробці крос-модальної методики пошуку інформації, такої як зображення-аудіо, текст-зображення, з використанням глибокого навчання. При наявності відео входів система була навчена двом моделям: одна добре налагоджена, попередньо навчена модель розпізнавання зображень обробляє кадри, а інша згорткова нейронна мережа зчитує звук як зображення спектрограми, еволюціонуючи таким чином, що розподіл вихідного сигналу стає якомога ближче до першого.

Imaginary Soundscape
Рис.11. Результат виконання сервісу Imaginary Soundscape

Після навчання дві мережі дозволяють отримувати найбільш доречний звуковий файл для сцени з великого набору звукових даних про навколишнє середовище.

Звукові ландшафти, які генеруються штучним інтелектом, зазвичай виправдовують очікування, але іноді ігнорують культурний і географічний контекст (наприклад, шум хвиль на крижаному полі Гренландії). Ці відмінності і помилки змушують розробників задуматися над тим, як працює уява і наскільки плідне навколишнє звукове середовище.

Проект Bairbie

BaiRBIE – це кумедний пародійний проект, який використовує штучний інтелект, щоб перетворити фотографію користувача на улюблену ляльку. Сайт пропонує користувачам можливість створити власну версію ляльки Bairbie або Ken, вибравши колір волосся, колір шкіри та расу.

Процес простий: потрібно завантажити фотографію високої роздільної здатності, на якій особа дивиться прямо в камеру без окулярів або інших аксесуарів для очей. Вибрати персонажа - Барбі або Кен, колір волосся і шкіри, за бажанням расу. Результати перетворення надсилаються на вказану електронну пошту.

BaiRBIE
Рис.12. Результат виконання сервісу BaiRBIE
Сервіс WatermarkRemover.io

WatermarkRemover.io - інноваційний інструмент онлайн спеціально розроблений для видалення водяних знаків, логотипів, штампів та інших небажаних написів з зображень. Створили свою унікальну ляльку BaiRBIE, але на зображенні присутній водяний знак? Тепер можна отримати чисте, високоякісне зображення своєї ляльки BaiRBIE без зайвих елементів. З WatermarkRemover.io процес видалення водяного знаку стає простим та швидким.

WatermarkRemover.io
Рис.13. Результат видалення водяного знаку WatermarkRemover.io

Відео лабораторної роботи

Контрольні запитання

  1. Перелічити популярні технології, що застосовують у сучасних АІ платформах.
  2. Перелічити напрямки і завдання, які ставлять перед собою АІ платформи.
  3. Які завдання можуть вирішуватись за допомогою сучасних АІ платформ?
  4. Перелічити відомі компанії і платформи, які використовують технології штучного інтелекту.
  5. Яким чином наповнюється навчальні набори для інтелектуальних сервісів?
  6. Які галузі та сфери діяльності найактивніше використовують сучасні платформи штучного інтелекту?
  7. Які опції оброблення фотографій можуть запропонувати АІ сервіси?
  8. Назвати основні причини, за якими користувач може обрати АІ сервіс.
  9. Які проблеми та обмеження існують у використанні сучасних АІ платформ?
  10. Які тенденції та перспективи розвитку сучасних АІ платформ?
  11. Яке на вашу думку завдання (поки що не здійснене) варто перекласти на вирішення штучним інтелектом?

Лабораторне завдання

  1. Ознайомитися з наведеними АІ платформами та їх сервісами.
  2. Випробувати наведені сервіси, ознайомитися з інтерфейсом, можливостями сервісу і обмеженнями для пересічних користувачів. Здійснити низку експериментів і порівняти результати
  3. Проаналізувати отримані результати і з'ясувати причини відповідних розбіжностей.
  4. Віднайти інші сервіси (2-3 реалізації), де використано інтелектуальні технології. Описати суть сервісу, зазначити використані технології, здійснити низку експериментів, проаналізувати результати та зробити висновки.
  5. По результатах роботи оформити звіт.

Зміст звіту

  1. Назва та мета виконання лабораторної роботи.
  2. Скріншоти виконання робіт з вказуванням назви сервісу та його особливостей. На скріншоті мають бути результати, що підтверджують особу студента (особисті фотографії, надписи тощо).
  3. Аналітичні висновки щодо властивостей сервісів та отриманих результатів.