Aplikasi jam tangan pintar baru memberi tahu pengguna Tuna Rungu dan yang mengalami gangguan pendengaran terhadap kicau burung, sirene, dan suara lain yang diinginkan

Aplikasi jam tangan pintar baru memberi tahu pengguna Tuna Rungu dan yang mengalami gangguan pendengaran terhadap kicau burung, sirene, dan suara lain yang diinginkan


Newswise – Smartwatch menawarkan metode pribadi untuk mendapatkan pemberitahuan tentang lingkungan mereka – seperti panggilan telepon, peringatan kesehatan atau pengiriman paket yang akan datang.

Sekarang para peneliti Universitas Washington telah mengembangkan SoundWatch, aplikasi jam tangan pintar untuk orang-orang tuna rungu, tunarungu, dan tuli yang ingin mengetahui suara di sekitar. Saat jam tangan pintar menangkap suara yang diminati pengguna – contohnya termasuk sirene, bunyi bip microwave atau kicau burung – SoundWatch akan mengidentifikasinya dan mengirimkan buzz ramah kepada pengguna bersama dengan informasi tentang suara tersebut.

Tim mempresentasikan temuan ini pada 28 Oktober di konferensi ACM tentang komputasi dan aksesibilitas.

“Teknologi ini memberi orang cara untuk mengalami suara yang memerlukan tindakan – seperti mengambil makanan dari microwave saat berbunyi bip. Tetapi perangkat ini juga dapat meningkatkan pengalaman orang dan membantu mereka merasa lebih terhubung dengan dunia,” kata penulis utama Dhruv. Jain, seorang mahasiswa doktoral UW di Sekolah Ilmu & Teknik Komputer Paul G. Allen. “Saya menggunakan prototipe jam tangan untuk memperhatikan kicau burung dan suara air terjun saat saya mendaki. Hal itu membuat saya merasa ada di alam. Harapan saya adalah orang-orang d / Tuli dan tuli lainnya yang tertarik dengan suara juga akan menemukan SoundWatch bermanfaat.”

Tim memulai proyek ini dengan merancang sistem untuk d / Tunarungu dan orang yang mengalami gangguan pendengaran yang ingin mengetahui apa yang terjadi di sekitar rumah mereka.

“Dulu saya tidur melalui alarm kebakaran,” kata Jain, yang lahir tuli.

Sistem pertama, yang disebut HomeSound, menggunakan tablet Microsoft Surface yang tersebar di seluruh rumah yang berfungsi seperti jaringan tampilan yang saling berhubungan. Setiap tampilan memberikan denah dasar rumah dan mengingatkan pengguna tentang suara dan sumbernya. Tampilan juga menampilkan bentuk gelombang suara, untuk membantu pengguna mengidentifikasi suara, dan menyimpan riwayat semua suara yang mungkin terlewatkan oleh pengguna saat mereka tidak di rumah.

Para peneliti menguji HomeSound di rumah-rumah di daerah Seattle dari enam peserta d / Tunarungu atau yang mengalami gangguan pendengaran selama tiga minggu. Peserta diinstruksikan untuk menjalani hidup mereka seperti biasa dan menyelesaikan survei mingguan.

Berdasarkan umpan balik, prototipe kedua menggunakan pembelajaran mesin untuk mengklasifikasikan suara secara real time. Para peneliti membuat kumpulan data lebih dari 31 jam dari 19 suara umum yang berhubungan dengan rumah – seperti gonggongan anjing atau kucing mengeong, bayi menangis dan ketukan pintu.

“Orang-orang menyebutkan bisa melatih hewan peliharaan mereka ketika mereka melihat suara gonggongan anjing dari ruangan lain atau menyadari bahwa mereka tidak perlu menunggu di dekat pintu ketika mereka mengharapkan seseorang untuk datang,” kata Jain. “HomeSound memungkinkan semua jenis interaksi baru yang dapat dilakukan orang-orang di rumah mereka. Tetapi banyak orang menginginkan informasi sepanjang hari, ketika mereka keluar di mobil atau berjalan-jalan.”

Para peneliti kemudian beralih ke sistem jam tangan pintar, yang memungkinkan pengguna mendapatkan peringatan suara di mana pun mereka berada, bahkan di tempat-tempat yang mungkin tidak memiliki ponsel, seperti di gym.

Karena jam tangan pintar memiliki penyimpanan dan kemampuan pemrosesan yang terbatas, tim membutuhkan sistem yang tidak memakan baterai jam tangan dan juga cepat dan akurat. Pertama, para peneliti membandingkan versi terkompresi dari pengklasifikasi HomeSound dengan tiga pengklasifikasi suara lain yang tersedia. Varian HomeSound adalah yang paling akurat, tetapi juga yang paling lambat.

Untuk mempercepat sistem, tim meminta arloji untuk mengirimkan suara ke perangkat dengan kekuatan pemrosesan yang lebih besar – telepon pengguna – untuk klasifikasi. Memiliki ponsel yang mengklasifikasikan suara dan mengirimkan hasilnya kembali ke jam tangan tidak hanya menghemat waktu tetapi juga menjaga privasi pengguna karena suara hanya ditransfer antar perangkat pengguna sendiri.

Para peneliti menguji aplikasi SoundWatch pada Maret 2020 – sebelum pesanan tinggal di rumah Washington – dengan delapan peserta d / tunarungu dan tuli di area Seattle. Pengguna menguji aplikasi di tiga lokasi berbeda di atau di sekitar kampus UW: di kantor mahasiswa pascasarjana, di ruang gedung, dan di halte bus.

Orang-orang merasa aplikasi itu berguna untuk memberi tahu mereka jika ada sesuatu yang harus mereka perhatikan. Misalnya: mereka membiarkan kerannya menyala atau ada bunyi klakson mobil. Di sisi lain, terkadang salah mengklasifikasikan suara (memberi label pada mobil yang dikendarai sebagai air mengalir) atau lambat untuk memberi tahu pengguna (satu pengguna terkejut dengan seseorang yang memasuki ruangan jauh sebelum arloji mengirim pemberitahuan tentang pembukaan pintu).

Tim juga mengembangkan HoloSound, yang menggunakan augmented reality untuk memberikan teks waktu nyata dan informasi suara lainnya melalui kacamata HoloLens.

“Kami ingin memanfaatkan kemunculan teknologi pembelajaran mesin yang canggih untuk membuat sistem yang meningkatkan kehidupan orang-orang di berbagai komunitas,” kata penulis senior Jon Froehlich, seorang profesor di Allen School.

Fokus lain saat ini adalah mengembangkan metode untuk memilih suara tertentu dari kebisingan latar belakang, dan mengidentifikasi dari arah mana suara, seperti sirene, berasal.

Aplikasi SoundWatch sedang menjalani uji coba dan akan segera tersedia untuk umum sebagai unduhan Android. Hingga saat itu, pengguna yang tertarik dapat mendaftar untuk pengujian beta. Para peneliti sangat ingin mendengar umpan balik sehingga mereka dapat membuat aplikasi lebih berguna.

“Disabilitas sangat pribadi, dan kami ingin perangkat ini memungkinkan orang mendapatkan pengalaman yang lebih dalam,” kata Jain. “Kami sekarang mencari cara bagi orang-orang untuk mempersonalisasi sistem ini untuk kebutuhan spesifik mereka sendiri. Kami ingin orang-orang diberi tahu tentang suara yang mereka pedulikan – suara pasangan versus ucapan umum, pembukaan pintu belakang versus pembukaan pintu depan, dan banyak lagi. “

Peneliti tambahan pada proyek HomeSound dan SoundWatch adalah: Leah Findlater, seorang profesor di departemen desain dan teknik yang berpusat pada manusia UW; Kelly Mack dan Pratyush Patel, mahasiswa doktoral di Sekolah Allen; Akli Amrous, seorang siswa SMA di SMA Bishop Blanchet; Matt Wright, yang mengerjakan proyek ini sebagai jurusan desain sarjana di UW; Steven Goodman, seorang mahasiswa doktoral di departemen desain dan teknik yang berpusat pada manusia UW; Hung Ngo dan Khoa Nguyen, mahasiswa sarjana UW yang mempelajari ilmu komputer dan teknik; dan Rachel Grossman-Kahn, seorang desainer pengalaman pengguna lepas. Penelitian ini didanai oleh National Science Foundation dan Google Faculty Research Award.

###

Nomor hibah: IIS-1763199


Diposting Oleh : https://singaporeprize.co/

About the author