Multi-protocol Ingestion
HTTP/WebSocket/gRPC/MQTT/AMQP endpoints. Автоматическое обнаружение схемы. Schema Registry с Avro/Protobuf валидацией на входе.
Feed Ingestion Node
Агрегация контента в реальном времени
Единая точка входа для пользовательских фидов, вебхуков и внешних API. Нормализация, дедупликация и маршрутизация миллионов событий в секунду с exactly-once гарантиями.
Pipeline Stages
От источника до потребителей
Normalization & Enrichment
ETL на лету: парсинг, обогащение из reference-данных, PII-скрабинг, feature extraction для ML. WebAssembly plugins для кастомной логики.
Smart Routing & Fan-out
Rule-based routing к downstream системам. Priority lanes для real-time. Dead letter queues с replay. Backpressure через credit-based flow control.
Стек
Технологии инджеста
Redpanda / Kafka
Bento / Vector
gRPC / ConnectRPC
Protobuf / Avro
ClickHouse
Redis Streams
OpenTelemetry
Rust / Go
WebAssembly