Skaitymas iš virpesių: inžinieriai rado būdą rekonstruoti garsą iš daikto virpėjimo

Kas yra skaitymas iš lūpų, ko gero, žinome visi. O štai Masačusetso technologijų universiteto (MIT) ir bendrovių „Microsoft“ bei „Adobe“ programuotojai sukūrė išties žadą atimantį algoritmą – jis jūsų išsakytus žodžius atkurs pagal, pavyzdžiui, greta jūsų ant stalo gulinčio bulvių traškučių pakelio virpesius arba pagal taurėje esančio gėrimo paviršiaus ribėjimą, kurį sukelia jūsų tariami žodžiai.

Minėtas algoritmas rekonstruoja garso signalą, analizuodamas nufilmuoto daikto paviršiaus virpesius. Per vieną eksperimentą algoritmas teisingai atkodavo už storos, garsui nepralaidžios stiklo sienos ištartus žodžius, kurių garsas virpino už 4,5 metro nuo stiklo sienos gulėjusią bulvių traškučių pakuotę.

Kitų eksperimentų metu tyrėjams analogišką informaciją pavyko išgauti iš aliuminio folijos, stiklinėje esančio vandens paviršiaus ribėjimo ir net augalo lapų virpesių. Tyrėjai eksperimento rezultatus pristatys kompiuterinės grafikos konferencijoje „Siggraph“.

„Kai garsas pasiekia kokį nors objektą, šis pradeda virpėti, – pasakoja pagrindinis būsimo straipsnio autorius, MIT elektroninės inžinerijos ir kompiuterių mokslų absolventas Abe Davisas. – Virpesių judėjimas skleidžia labai silpną regimąjį signalą, kuris plika akimi nematomas. Žmonės nė neįsivaizduoja, kad taip galima atkurti informaciją.“

Straipsnio bendraautoriai yra A. Davisui talkinę MIT kompiuterinių mokslų ir inžinerijos profesoriai Fredo Durandas ir Billas Freemanas, kitas MIT absolventas Nealas Wadhwa, „Microsoft Research“ darbuotojas Michaelas Rubinsteinas ir Gauthamas Mysore iš „Adobe Research“.

Garso signalo rekonstravimui iš virpesių vaizdo reikia, kad vaizdo kadrų skaičius per sekundę būtų didesnis už rekonstruojamo garso signalo dažnį. Kai kuriuose eksperimentuose tyrėjai naudojo nuo 2 000 iki 6 000 kadrų per sekundę sparta filmuojančias vaizdo kameras. Tai yra gerokai daugiau nei 60 kadrų per sekundę, kuris įmanomas kai kuriuose išmaniuosiuose telefonuose. Tiesa, pažangiausios prekyboje esančios didelės spartos filmavimo kameros filmuoja ir 100 000 kadrų per sekundę greičiu.