Dampak Pemangkasan

Dampak Pemangkasan

Tim PNNL menunjukkan janji jaringan neural binarisasi untuk aplikasi pembelajaran mesin yang cepat dan akurat

Oleh Allan Brettman

Seperti yang diketahui siapa pun yang memiliki jempol hijau, pemangkasan dapat meningkatkan pertumbuhan vegetasi. Sebuah snip disini, sebuah snip disana, dan pertumbuhan dapat dikontrol dan diarahkan untuk sebuah tanaman yang lebih kuat.

Prinsip yang sama dapat diterapkan pada algoritme pembelajaran mesin. Menghapus bit dan potongan di sepanjang cabang pengkodean dalam algoritma tersebut dapat mengurangi kompleksitas dalam pohon keputusan dan meningkatkan kinerja prediksi.

Para peneliti di Laboratorium Nasional Pasifik Barat Laut (PNNL) Departemen Energi AS telah melakukan hal itu. Menjelajahi dengan jaringan neural binarisasi (BNN), mereka menggunakan prinsip pemangkasan untuk secara signifikan mengurangi kompleksitas komputasi dan kebutuhan memori. BNN adalah sepupu dekat dengan jaringan neural dalam, yang membutuhkan komputasi dalam jumlah besar. Tetapi BNN berbeda secara signifikan: mereka menggunakan bit tunggal untuk menyandikan setiap neuron dan parameter, menggunakan lebih sedikit energi dan daya untuk komputasi.

Pemangkasan untuk pertumbuhan yang lebih cepat

Peneliti mengenali nilai potensial dari BNN untuk pembelajaran mesin mulai sekitar 2016. Jika dibangun — atau dipangkas — dengan cara yang benar, mereka mengonsumsi lebih sedikit energi komputasi dan hampir seakurat jaringan neural dalam. Itu berarti BNN memiliki lebih banyak potensi untuk mendapatkan manfaat dari lingkungan dengan sumber daya terbatas, seperti ponsel, perangkat pintar, dan seluruh ekosistem Internet of Things.

Di sinilah pemangkasan berperan. Seiring dengan berkembangnya penelitian jaringan saraf dalam beberapa tahun terakhir, pemangkasan semakin diminati oleh para peneliti komputasi.

“Pemangkasan saat ini menjadi topik hangat dalam pembelajaran mesin,” kata ilmuwan komputer PNNL, Ang Li. “Kami dapat menambahkan software dan coding arsitektur untuk mendorong pemangkasan ke arah yang akan memiliki lebih banyak manfaat bagi kinerja perangkat komputasi. Manfaat ini termasuk kebutuhan energi yang lebih rendah dan biaya komputasi yang lebih rendah. “

Pemangkasan untuk presisi

Li termasuk di antara sekelompok peneliti PNNL yang baru-baru ini menerbitkan hasilnya di Institute of Electrical and Electronics Engineers Transaksi pada Sistem Paralel dan Terdistribusi menunjukkan manfaat pemangkasan selektif. Penelitian menunjukkan bahwa pemangkasan bit yang berlebihan dari arsitektur BNN menghasilkan BNN out-of-order yang dibuat khusus, yang disebut O3BNN-R. Pekerjaan mereka menunjukkan model BNN yang sangat padat — yang sudah dapat menampilkan kualitas superkomputer berkinerja tinggi — dapat disusutkan secara signifikan tanpa kehilangan akurasi.

“Jaringan neural binariasi memiliki potensi untuk membuat waktu pemrosesan jaringan saraf sekitar mikrodetik,” kata Tong “Tony” Geng, kandidat doktor dari Universitas Boston yang, sebagai pegawai magang PNNL, membantu Li dalam proyek O3BNN-R.

“Penelitian BNN menuju ke arah yang menjanjikan untuk membuat jaringan saraf benar-benar berguna dan siap diadopsi di dunia nyata,” kata Geng, yang akan bergabung kembali dengan staf PNNL pada bulan Januari sebagai peneliti pascadoktoral. “Temuan kami merupakan langkah penting untuk mewujudkan potensi ini.”

Penelitian mereka menunjukkan BNN yang rusak ini dapat memangkas, rata-rata, 30 persen operasi tanpa kehilangan akurasi. Dengan lebih banyak penyetelan — dalam langkah yang disebut “regularisasi saat pelatihan” —performa dapat ditingkatkan dengan tambahan 15 persen.

Pemangkasan untuk mendapatkan kekuasaan

Selain kontribusi BNN yang tidak teratur ini ke Internet of Things, Li juga menunjukkan potensi manfaat untuk jaringan energi. Penerapan BNN yang dimodifikasi juga dapat memberikan dorongan pada perangkat lunak yang ada yang melindungi dari serangan siber saat digunakan di jaringan listrik dengan membantu sensor yang ada mendeteksi dan menanggapi serangan, kata Li.

“Pada dasarnya,” kata Li, “kami mempercepat kecepatan pemrosesan dalam perangkat keras.”

Pekerjaan ini didukung, sebagian, oleh Yayasan Sains Nasional AS, Institut Kesehatan Nasional; dengan hibah dari Microsoft dan Red Hat; dan oleh Xilinx dan oleh Intel melalui larik gerbang, alat, dan kekayaan intelektual yang dapat diprogram di lapangan. Penelitian ini juga sebagian didanai oleh PNNL’s Data Model Convergence-Computation Flow Architecture dan proyek Penelitian dan Pengembangan Arahan Laboratorium Komputasi DeepScience-Kinerja Tinggi. Platform evaluasi didukung oleh Departemen Ilmu Energi AS, yang berafiliasi dengan Pusat Evaluasi Teknologi Lanjutan PNNL.