Verwendete Software

Alle Software hier ist frei und Open Source. Die Reihenfolge folgt dem Ablauf auf So funktioniert es.

Frigate NVR

Open-Source-Videorekorder mit Objekterkennung in Echtzeit. Die Erkennung läuft lokal, ohne Cloud-Dienst. Nimmt auf, speichert Bilder und schickt Ereignisse per MQTT.

https://frigate.video/

https://github.com/blakeblackshear/frigate

go2rtc

In Frigate eingebauter Streaming-Server. Liefert den Livestream an den Player auf dieser Seite (MSE, HLS als Rückfall).

https://github.com/AlexxIT/go2rtc

Google Coral

Edge TPU für schnelle, lokale KI-Berechnungen. Frigate führt darauf seine Objekterkennung aus.

https://coral.ai/products/m2-accelerator-dual-edgetpu

NVIDIA CUDA

Dekodiert den 4K-Videostrom auf der Grafikkarte, damit der Prozessor frei bleibt.

https://developer.nvidia.com/cuda-zone

Eclipse Mosquitto

Schlanker MQTT-Broker. Bringt die Ereignisse von Frigate zur Artbestimmung.

https://mosquitto.org/

WhosAtMyFeeder

Hört auf die Vogel-Ereignisse von Frigate, schneidet den Vogel aus, bestimmt die Art, führt die Artenstatistik und postet in Telegram. Hier angepasst: Art von BioCLIP 2, jeder Vogel geht nach BirdCamRAW.

https://github.com/mmcc-xx/WhosAtMyFeeder

BioCLIP 2

Grundmodell für die Arten des Lebensbaums. Hier ohne eigenes Training eingesetzt, mit einer Liste von 72 mitteleuropäischen Vogelarten.

https://huggingface.co/imageomics/bioclip-2

OpenCLIP, PyTorch und scikit-learn

Die KI-Auswahl des Tages: OpenCLIP (ViT-L/14) macht aus jedem Bild ein Embedding, ein kleines scikit-learn-Modell, trainiert auf den BestOff-Bildern, bewertet es. Läuft mit PyTorch auf dem Prozessor.

https://github.com/mlfoundations/open_clip

https://pytorch.org/

https://scikit-learn.org/