Meta, vizual dünyanı inqilab edən Segment Anything Model (SAM) texnologiyasını audio dünyasına gətirərək yeni nəsil SAM Audio modelini rəsmi olaraq elan etdi. Peşəkar səs redaktə proseslərində yeni bir standart qoyan bu süni intellekt modeli, çoxmodal girişlərdən istifadə edərək istənilən mənbələri mürəkkəb və bir-birinə bağlı səs fayllarından ayıra bilər.

Meta Yeni Səs Modelini Təqdim Edir

Ənənəvi metodlardan fərqli olaraq, model istifadəçilərə mətn əmrləri, vizual annotasiyalar və ya vaxt qurşağı spesifikasiyası kimi təbii qarşılıqlı təsir metodlarından istifadə edərək müəyyən səsləri təcrid etməyə imkan verir. Bu texnologiya sayəsində videodakı bir obyektin səsini sadəcə həmin obyektə klikləyərək təcrid etmək və ya "it hürməsi" kimi sadə bir mətn əmri ilə istənməyən səsləri silmək mümkün olur.

Modelin texniki infrastrukturu, səs və vizual məlumatları zaman oxunda dəqiq şəkildə uyğunlaşdıran Qavrayış Encoder Audiovizual (PE-AV) mühərriki ilə təchiz edilmişdir. SAM Audio, 500 milyondan 3 milyard parametrə qədər müxtəlif miqyaslarda konfiqurasiya edilə bilər və real vaxt rejimində işləmə sürətlərini aşaraq RTF ≈ 0.7 performans təmin edir.

Arxitektura baxımından axın uyğunlaşdırma diffuziya çeviricisi üzərində qurulmuş bu generator sistemi həm real, həm də sintetik məlumatlardan ibarət böyük bir təlim dəsti ilə dəstəklənir. Sistem eyni zamanda giriş kimi verilən qarışıq audio faylından həm hədəf səsini, həm də qalan "qalıq" audio parçaları yarada bilər.

SAM Audio tərəfindən təklif olunan üç əsas təhlil metodu istifadəçiyə misilsiz rahatlıq təmin edir. Mətn əsaslı metodda istifadəçi "piano səsi" və ya "vokal" yazmaqla hədəfi birbaşa təyin edə bilər; vizual metodda videodakı alətlərə və ya dinamiklərə klikləmək kifayətdir. Sənayedə ilk hesab edilən zaman aralığına əsaslanan sorğu metodu, bütün fayl boyunca müəyyən bir zaman intervalının audio xüsusiyyətlərini süzgəcdən keçirmək üçün istifadə olunur.