Как строить AI-агентов с нулевой облачной зависимостью: 100% on-device, <100мс задержка на Qualcomm NPU
Я — Денис Шохирев, архитектор агентных AI-систем из Фрайбурга (DennisCraft AI Studio). Мой стек — Claude, Supabase, n8n, Doppler, self-hosted Postgres. В одной из недавних интеграций для немецкого логистического клиента главный запрос был: всё должно работать на устройстве, без облака, задержка — не выше 100мс на Qualcomm NPU. В облаке они видели не просто latency, а прямую угрозу соответствию GDPR и SLA.
Почему on-device важнее облака: конкретные боли
В Европе бизнесы, работающие с персональными или коммерческими данными, всё чаще получают штрафы из-за передачи данных в облако: в 2023 году, по данным DLA Piper, суммарные штрафы за нарушение GDPR превысили 2,9 млрд евро (DLA Piper, 2024). Клиенты хотят не просто "минимально возможную передачу", а гарантированный ноль.
Латентность — не только UX
В логистических и производственных сценариях агент может принимать решения каждые 200-300мс. Если inference уходит в облако, даже 200мс RTT ломает SLA. Локальный inference на NPU — единственный способ получить стабильные <100мс end-to-end.
Архитектура: как собрать 100% on-device агента
Классическая архитектура агента (Prompt → LLM → Action → Feedback) в облаке выглядит просто, но локально требует пересборки пайплайна. Примерный стек для edge-инференса:
- Модель: Llama 3, Gemma или Phi-3 в ONNX-формате
- Фреймворк: Qualcomm AI Engine + ONNX Runtime
- RAG: локальный FAISS-кластер на устройстве
- Оркестрация: n8n, интеграция через REST
- Секреты: Doppler CLI, только локальный доступ
Реальный пайплайн inference на устройстве
import onnxruntime as ort
import numpy as np
sess = ort.InferenceSession("phi3_quantized.onnx", providers=['QNN'])
tokenizer = ... # загрузка совместимого токенизатора
def run_inference(prompt):
input_ids = tokenizer.encode(prompt, return_tensors="np")
outputs = sess.run(None, {"input_ids": input_ids})
return tokenizer.decode(outputs[0][0])
Здесь используется ONNX Runtime с QNN (Qualcomm Neural Network) backend для аппаратного ускорения.
Тестирование задержки
for i in {1..10}; do
/usr/bin/time -f "%e" python3 run_inference.py --prompt "Check shipment status"
done
На Snapdragon 8 Gen 2 средняя задержка 87мс для Phi-3 (4B quantized), при этом CPU usage <30% — реальный production-тест, не synthetic benchmark.
Безопасность: что меняется без облака
Отказ от облака не снимает вопросы безопасности — наоборот, появляются новые атаки: доступ к модели в памяти, локальные векторы SQL-инъекции, побочные каналы.
Проверка с помощью semgrep и bandit
Я всегда прогоняю весь агентный пайплайн через semgrep и bandit, особенно сгенерированный LLM-код. На последних трёх внедрениях находил повторяющиеся паттерны SQL-инъекций даже в простых REST-интеграциях.
semgrep --config p/sql-injection .
bandit -r ./agent_code/
Контроль доступа к данным
Все секреты — только через Doppler, без hardcode. Local storage — с шифрованием на диск (например, через cryptsetup). Для доступа к локальному FAISS — отдельный user с минимальными правами.
Производственные грабли: что ломается чаще всего
| Проблема | Причина | Решение |
|---|---|---|
| Модель не стартует | Неправильный формат/квантизация | ONNX quantization + QNN проверка |
| Задержка выше 100мс | Включён CPU fallback | Проверьте QNN backend |
| Секреты утекли | Hardcode в коде/логах | Doppler only, audit logs |
| RAG не находит документы | FAISS index не обновлён | Плановый re-index через n8n |
Интеграция с внешними системами: минимум, но без костылей
Даже на 100% on-device приходится интегрироваться с локальными ERP или SCADA системами. Я использую n8n в режиме локального workflow runner, где все API-вызовы через internal network. Логи пишу в self-hosted Postgres, с ротацией и шифрованием таблиц, чтобы не хранить лишние данные.
FAQ
Какие модели реально тянут NPU на edge?
На Snapdragon 8/Gen 2 — Phi-3 4B, Llama 3 8B (int4 quantized), Gemma 2B. Проверяю только те, для которых есть ONNX export.
Можно ли делать полноценный RAG на устройстве?
Да, но ограничиваюсь FAISS с 100-200МБ индекса. Для больших корпоративных баз лучше гибрид — RAG только по локальному срезу.
Как обновлять модель на устройстве?
Только через подписанный OTA update, ключи хранятся в TPM. Нет signed update — нет апдейта.
Управление ресурсами — bottleneck?
Да, особенно RAM. Использую swap только на fast SSD, не на eMMC.
Что с логированием ошибок?
Логирую только stack trace и входные параметры, чистка каждые 24ч через n8n job.
У вас где чаще всего ломается on-device inference: модель, оркестрация или интеграция с внешними API? Готов разобрать реальный стек и пайплайн.
Я делаю бесплатный 30-мин аудит стека для фаундеров и AI-команд DACH, которые строят AI в условиях регуляторных ограничений. Пишите в LinkedIn или в @ger_dennis_ai.
