Edge AI vykonáva inferenciu blízko senzora alebo používateľa. Môže obmedziť prenosy dát a závislosť od odpovede cloudu. Nezaručuje však konkrétnu latenciu, výdrž batérie, súkromie ani presnosť predikcie. Tie závisia od modelu, hardvéru a celej aplikácie.
Začnite kritériami prijatia
Pri monitorovaní vibrácií definujte poruchy, prevádzkové režimy a dôsledky nezachytenej chyby. Pri vizuálnej kontrole určte vady, osvetlenie, rýchlosť linky a prípustné nesprávne vyradenia. Pri medicínskom alebo bezpečnostnom použití stanovte účel a požiadavky na validáciu ešte pred výberom modelu.
Tréningové, validačné a testovacie dáta oddeľte podľa stroja, merania alebo časového obdobia. Uveďte precision/recall, počet falošných alarmov a výsledky v nových podmienkach. Výsledok na jednom datasete nedokazuje univerzálnu presnosť 96 % ani zaručené upozornenie na poruchu niekoľko týždňov vopred.
Výkon hardvéru: jednotky a podmienky
| Platforma | Zverejnená schopnosť | Význam |
|---|---|---|
| ESP32-P4 | Výkonné jadrá CPU do 400 MHz | MHz je taktovacia frekvencia, nie výkon AI 400 GOPS |
| STM32N6 | NPU Neural-ART do 600 GOPS | Špička akcelerátora výrobcu; výsledok ovplyvňujú podporované operácie a pamäť |
| Jetson Orin Nano | Do 67 TOPS, nastaviteľné režimy modulu v rozsahu 7–25 W | Špička pri sparse INT8 vo vhodnej konfigurácii; nejde o spotrebu celého systému ani latenciu modelu |
| NXP i.MX 8M Plus | NPU do 2,3 TOPS | Špička NPU podľa výrobcu; merajte celý model aj dosku |
Podmienky čísel definujú odkazy na dokumentáciu výrobcov. Porovnanie TOPS/GOPS vyžaduje rovnakú numerickú presnosť, predpoklady sparsity a spôsob počítania operácií. Akcelerátor s vyššou špičkou môže byť pomalší pri nepodporovanej operácii alebo pri úlohe obmedzenej kamerou a predspracovaním na CPU.
TinyML na MCU je vhodné pre primerane malé modely a obmedzené senzorové úlohy. Aplikačné procesory a NPU môžu spracovať väčšie modely videnia. FPGA ponúka nastaviteľné paralelné spracovanie, ale vyžaduje mapovanie, časovanie a návrh pamäte. Rozhodujte podľa nameraných požiadaviek.
Merajte celý reťazec
Oddelene zmerajte získanie dát, predspracovanie, inferenciu a spracovanie výstupu. Potom uveďte celkovú latenciu vrátane p95/p99, ak sú dôležité termíny reakcie. Zaznamenajte verziu modelu, rozmery vstupu, batch, presnosť, takty a teplotu. Merajte energiu na inferenciu aj pokojový odber celej dosky so senzormi a komunikáciou.
Kvantizácia môže zmenšiť model a výpočty, no zmena presnosti závisí od kalibračných dát a úlohy. Univerzálna strata pod 2 % neexistuje. Jazykový model potrebuje okrem váh aj RAM na pracovné buffery a KV cache; označenie „malý model“ neznamená, že sa zmestí do MCU.
Súkromie, bezpečnosť a údržba
Lokálne spracovanie môže minimalizovať prenosy, ale osobné údaje naďalej podliehajú GDPR. Logy, telemetria, uložené snímky a vzdialená údržba môžu dáta sprístupniť. Určte, čo sa ukladá, prenáša a vymazáva.
Detektor anomálií nie je automaticky overená funkcia núdzového zastavenia. Pri bezpečnostnej úlohe definujte bezpečnostnú architektúru, nezávislé ochrany a dôkazy pre zamýšľané použitie. Podpisujte a overujte aktualizácie modelu aj firmvéru, uchovávajte výsledky podľa verzie a sledujte zmenu rozdelenia dát po nasadení.
Pôsobnosť AI Actu
Klasifikácia rizika závisí od účelu a roly prevádzkovateľa, nie od miesta inferencie. Lokálny model automaticky nespĺňa AI Act ani nepatrí do vysokého rizika. Podľa aktuálneho harmonogramu Komisie sa všeobecné pravidlá uplatňujú od 2. augusta 2026, pravidlá pre vysoké riziko podľa prílohy III od 2. decembra 2027 a pre vysokorizikové regulované produkty od 2. augusta 2028. Použite kategóriu a prechodné pravidlá konkrétneho produktu.
Edge AI služby · Výber MCU · Legislatíva EÚ pre hardvér · Prebrať validačný plán
Často kladené otázky
Zaručuje Edge AI inferenciu pod 10 ms?
Nie. Latencia závisí od modelu, hardvéru, pamäte, získania vstupu a predspracovania. Merajte celý reťazec na konkrétnom produkte a uveďte podmienky.
Má ESP32-P4 výkon 400 GOPS?
Citovaná špecifikácia Espressif uvádza takt CPU do 400 MHz. Nie je to zverejnená špecifikácia výkonu NPU 400 GOPS.
Môžem priamo porovnávať TOPS rôznych výrobcov?
Až po overení presnosti, sparsity, spôsobu počítania operácií a konfigurácie. Špičková priepustnosť nemeria latenciu modelu ani energiu celého systému.
Zaručuje lokálna inferencia súlad s GDPR a AI Actom?
Nie. GDPR závisí od spracovania osobných údajov a AI Act od účelu, klasifikácie rizika a roly subjektu. Samotné lokálne vykonávanie nedokazuje ani jeden súlad.
Primárne zdroje
Technické a regulačné zdroje overené 1. októbra 2026.