Ця стаття була розміщена у квітневому випуску журналу “Підйомні споруди. Спеціальна техніка” №4(235)/2022
Досвід роботи ТОВ «ІНФОКОМ ЛТД» зі створення автоматизованих систем управління кранами сягає більше ніж 18 років. За цей час концепція побудови систем управління для кранів трансформувались від релейно-контакторних до складних систем із використанням частотних перетворювачів, урахуванням системи виміру ваги, системи запобігання зіткненням, системи протирозгойдування, використання радіоуправління при роботі з підйомно-крановим обладнанням. Додатково компанією розроблений концепт використання спеціального електроприміщення для розміщення обладнання автоматизації, що враховує характеристики оточуючого середовища, зменшує іх вплив та подовжує строк роботи обладнання. При тому фізичні розміри обладнання управління зменшились у декілька разів завдяки використанню модернізованого більш компактного та продуктивного обладнання, включаючи спеціалізовані крісла-пульти оператора крану.
Робота оператора підйомно-транспортного механізму навіть при роботі із автоматизованими системами на даний час є відповідальною через взаємодію із іншими особами (стропальником), роботу із панеллю управління для позиціонування та переміщення вантажу. Тобто основні рішення приймаються хоч і з допомогою АСУ, проте основні рішення приймає оператор.
Розглянемо приклади застосування машинного зору та нейромереж в цілком різних сферах промисловості.
Дані для систем машинного зору
Система безпеки на підприємствах передбачає встановлення приладів відео на фотофіксації, тобто в компаніях вже зараз є достатній обсяг даних для аналізу та використання. Сучасні інструменти дозволяють виконувати аналіз фото- та відеопотоку на предмет ідентифікації форми, кольору, напрямку руху, ідентифікації фігур людей, тварин, та багато іншого. Таким чином за допомогою інструментів машинного зору та процесу навчання нейромережі можливо отримати помічника для оцінки простору, відстаней, позиціонування, передбачення / розрахунку зіткнень при завантажувальних та розвантажувальних роботах. Подібні можливості зменшать навантаження та операторів крану, а завдяки чому розглянемо на прикладах вже реалізованих проектів.
У своїх проектах ІНФОКОМ ЛТД використовує нейронні мережі та інструменти машинного зору, завдяки яким реалізовані проекти, які неможливо б було реалізувати без зазначених технологій, наприклад наступні:
Ідентифікація стиглості суниці
У 2020 році нашими спеціалістами було реалізовано незвичайний проект – розробку програмного забезпечення для робота, який збирає суниці на посівних площинах. Задача програми полягає в тому, що під час проходження роботом рядків із суницею, відеопоток з камери, що встановлена на роботі, аналізується за допомогою попередньо навченої нейронної мережі на предмет форми суниці та кольору суниці. Коли програма ідентифікувала суницю та її колір співпадає із шаблоном кольорів для стиглої суниці – робот отримує сигнал для збору ягоди. На базі отриманих даних регулярно спеціалісти виконують «донавчання» нейронної мережі для вдосконалення процесу ідентифікації ягід та їх ступеня стиглості. Також на основі аналізу відео нейронна мережа передає точні координати та розміри об’єктів на виконавчий механізм – «робо-руку» – для збирання ягід.
Таким чином результатом проекту є автоматизованих збір суниць, завдяки якому зникає необхідність для найманого персоналу виконувати важку фізичну працю та сконцентруватись на більш легких задачах, наприклад, перепакування та відвантаження. Окрім того, робот-збиральник може працювати в нон-стоп режимі 27/7.
Помічник водія – Driver Assistant
У вільному доступі в мережі Internet розміщений додаток для Android і IOS водіїв, розроблений департаментом інформаційних технологій ТОВ «ІНФОКОМ ЛТД» для допомоги водіям в орієнтуванні на дорозі, допомагати не пропустити перешкоди, близькість сусідніх автомобілів, чітко дотримуватись розмітки на дорогах, не пропускати знаки дорожнього руху. Додаток Driver Assistant завантажується на смартфон, який встановлюється аналогічно відеореєстратору. Задача додатку – аналізувати відеопоток зі смартфону: розмітку, дорожні знаки, рух оточуючих автомобілів та сповіщення водія в разі виникнення небезпечної ситуації.
Додатковою функцією додатку є спостереження за поведінкою водія під час керування авто за допомогою другої камери смартфону (що аналізує відеопоток, направлених всередину кабіни). Функція дозволяє ідентифікувати та фіксувати, коли водій розмовляє по телефону, позіхає, закриває очі довше ніж на 1 секунду. У всіх цих випадках додаток попереджає водія, що можлива небезпечна ситуація на дорозі. Є можливість конфігурування додатку на предмет того, на які саме дії водія потребують попередження.
Як результат, водій отримує додатковий інструмент – помічника – для допомоги на дорозі: зменшується стрес, є можливість отримати сигнали про невідповідність керування авто дорожнім знакам, розмітці, оточуючому середовищу та бути більш впевненим, особливо на незнайомій дорозі.
Система для ідентифікації попередження крадіжок у вантажних автомобілях
Іще один проект є демонстрацією успішного використання інструментів машинного зору та нейромережі – розробка програмного забезпечення для попередження крадіжок під час перевезень вантажним транспортом. Задача програмного забезпечення – аналіз відеопотоку з камер, встановлених всередині вантажного автомобіля та зовні та сигналізація при виникненні однієї з наступних ситуацій:
- Всередині вантажного автомобіля визначено особу чи половину особи (ідентифікація знаходження осіб всередині вантажного авто для подальшого рішення – чи авторизоване знаходження осіб чи ні);
- Всередині вантажного авто відбувається переміщення коробок і це переміщення в межах, визначених як «неприроднє», тобто переміщення вантажу всередині автомобілю має ознаки крадіжки.
- Всередині авто відбуваються великі зміни в кадрах, наприклад зникнення коробок, різка поява осіб.
Тобто, в цьому випадку програмне забезпечення ідентифікує на відеопотоці осіб, вантаж, габарити вантажу, переміщення вантажу, переміщення осіб. Такі дані дають водію та власнику вантажного транспорту окрім відеоматеріалів як підтвердження факту крадіжки, додаткову можливість оперативно відреагувати на дії, що відбуваються.
Усі наведені приклади дають змогу широкому застосуванню машинного зору та систем ідентифікації, побудованих на базі нейронної мережі, яку можна продовжувати навчатися, для сфери підйомно-транспортного обладнання для виконання розвантажувально-навантажувальних робіт.
Опис можливостей для підйомно-транспортного обладнання
Для потреб операторів кранів можливості машинного зору на нейромережі, яку додатково спеціалісти зможуть навчати, можна використовувати такі інструменти:
- Визначення положення вантажів на поверхні та у просторі, визначення точного позиціонування та повідомлення про це оператору. Таким чином можливе прорахування оптимальної траєкторії руху вантажу та облік завантаження складу або рухомого складу завдяки інтеграції із централізованими системами обліку, наприклад MES-системою або напряму із ERP-системою.
- Завдяки точній інформації про переміщення вантажів, визначеними номерами контейнерів, фіксацією переміщення із застосуванням часового маркування, процес відстеження потоків вантажів стає не просто відеоматеріалами з камери, а цифровими проаналізованими даними, які можуть точно відповісти на питання: коли саме? що? де? яким чином?
- Визначення реальної оцінки завантаженості складу та розміщення вантажів;
- Визначення осіб поряд із вантажами (рухомими та нерухомими), відстаней, на яких особи знаходяться для підказок – чи безпечно виконувати операції переміщення або потрібно повідомити колег про небезпечність їхнього місцезнаходження.
- Визначення перешкод для транспортування вантажів та попередження колізій під час робіт.
- Додатково можливо аналізувати стан оператора всередині кабіни (аналогічно сервісу Driver Assistant), коли додатково можна визначати стан оператора крану та давати попереджувальний сигнал, коли спеціаліст втомлений або відволікається при виконанні вантажних робіт. Інформацію про невідповідний стан оператора можна надсилати до центральної диспетчерської для інформування відповідального за виробництво/зміну.
Таким чином, використовуючи надбання в розробці автоматизованих систем та додатково оснащуючи робочі місця новими інструментами, такими як нейромережа та комп’ютерний (машинний) зір, оператор отримує додаткові рекомендації для більш точного позиціонування вантажів, підвищення безпеки на виробництві, попередження травм на виробництві, попередження колізій під час робіт та зменшення порчі вантажів під час завантаження/розвантаження. Аналізуватись можуть вантажі, процес виконання робіт, стан працівників, можливо виконувати аналіз простору для оптимізації розміщення вантажів.
Справка щодо ТОВ «ІНФОКОМ ЛТД»
ТОВ «ІНФОКОМ ЛТД» – українська компанія-розробник інноваційних рішень для робототехніки (робот ТІМА), систем управління для безпілотних автомобілів, мережі зарядних станцій UGV Chargers, інформаційних систем із використанням нейромереж та машинного зору для промислових підприємств, лідер із впровадження комплексних автоматизованих систем управління технологічними процесами, працює над впровадженням АСУ ТП на великих промислових об’єктах України із підвищеними вимогами до безпеки та надійності.
У своїх проектах інженери ІНФОКОМ ЛТД використовують надбання світових лідерів у сфері автоматизації та власні розробки щодо ідентифікації, обробки та управління даними.
Іванов О.В., керівник проектно-конструкторського департаменту ТОВ «ІНФОКОМ ЛТД, м. Запоріжжя