Milyonus
Optik Takip 2.4

Tarayıcı için gerçek zamanlı, tamamen cihaz üzerinde çalışan yüz optik takibi: 478 noktalı yüz ağı, 3D baş duruşu, yüz başına güven puanlaması, kalıcı kimliklerle çoklu yüz takibi ve saniyede bir kez dikkati örnekleyen bir odak takip sistemi. Hiçbir veri cihaz dışına çıkmaz.

GitHub'da görüntüle

Hızlı Başlangıç

Genel Bakış

Cihaz üzerinde, tasarım gereği özel

İki MediaPipe Görevleri Vision grafiği, her video karesinde tamamen tarayıcı içinde WebAssembly/WebGL aracılığıyla çalışır: 478 noktalı bir ağ, 52 blendshape katsayısı ve bir yüz dönüşüm matrisi için FaceLandmarker; ve yüz başına gerçek bir güven puanı için FaceDetector. Kamera kareleri yerel olarak işlenir ve asla yüklenmez — tek ağ istekleri, sonrasında tarayıcı tarafından önbelleğe alınan tek seferlik model indirmeleridir.

Yetenekler

Takip cihazının bildirdiği her şey

478 noktalı yüz ağı

Yansıtılmış kamera akışı üzerinde canlı olarak oluşturulmuş tam mozaikleme, konturlar ve iris işaretleri

3D kafa duruşu

Ham rotasyon matrisinden çıkarılan sapma, yunuslama ve yuvarlanma (yaw, pitch, roll) değerleri ile burun ucunda bir RGB eksen gizmosu olarak görselleştirilen göreceli derinlik tahmini.

Güven skoru

Özel bir yüz algılayıcıdan okunan ve izlenen her bir yüzle eşleştirilen gerçek, yüz başına algılama güven değeri.

Çoklu Yüz ve Takip Kimliği

Kare başına 4 adede kadar yüzü izler; en yakın merkezoid izleyici, kareler boyunca yüz başına kararlı bir kimliği (ID) korur.

Odak Takip Puanı

Baş sapma/eğilmesinden (yaw/pitch) elde edilen 0-1 arasında sürekli bir skor, ayrıca bir bakış etiketi (orta / sol / sağ / yukarı / aşağı / hiçbiri) ve bir başka yöne bakma uyarısı.

Saniye ve dakika bazında raporlar

Güven ve bakış verileri, temiz bir 1 Hz zamanlayıcı üzerinden örneklenir ve dakika başına canlı olarak güncellenen bir tabloda birleştirilir.

Nasıl çalışır

İki grafik, amaca yönelik tasarlanmış dört modül

Ham model çıktısının yanı sıra özel modüller, yer işaretlerini anlama dönüştürür.

facePose.ts

Decomposes the column-major transformation matrix into yaw / pitch / roll, plus a depth proxy from its translation.

faceTracker.ts

Kareler arasında her bir yüze kararlı bir kimlik (ID) atayan, minimum açgözlü en yakın merkezcil takipçi.

blendshapeEmotion.ts

52 blendshape katsayısını sezgisel olarak birleştirerek 8 ifade puanı elde eder.

focusTracking.ts

Baş duruşunu bir bakış etiketine ve 0-1 arası odaklanma puanına dönüştürür, saniyede bir örnek kaydeder ve bunları dakika bazında raporlar halinde bir araya getirir.

Hızlı başlangıç

Bir dakikadan kısa sürede çalışıyor

Node.js 18+ (veya Bun) gerektirir. Modeller ilk çalıştırmada ağdan yüklenir ve sonrasında tarayıcı tarafından önbelleğe alınır.

git clone https://github.com/ayazelrico/Milyonus-Optic-Tracking-2.4
cd milyonus-optic-tracking
npm install
npm

Gizlilik ve modeller

Tüm çıkarımlar WebAssembly/WebGL aracılığıyla yerel olarak çalıştırılır; hiçbir video karesi veya görüntü hiçbir zaman bir sunucuya gönderilmez. Tek ağ istekleri, ilk yüklemede MediaPipe WASM çalışma zamanını ve iki model dosyasını getirmek için yapılır.

MIT Lisansı

Kullanımı, değiştirilmesi ve dağıtılması ücretsizdir. Kendi lisansı kapsamında kullanılan MediaPipe Face Landmarker (Google AI Edge) üzerine inşa edilmiştir.