Apa itu Neural Architecture Search? Ketika AI Merancang Otaknya Sendiri

Merancang jaringan neural dulu membutuhkan pakar dengan pengalaman bertahun-tahun untuk membuat asumsi yang terinformasi: berapa banyak lapisan? ukuran berapa? pola koneksi yang mana? Kemudian menunggu berhari-hari agar proses pelatihan menunjukkan apakah pilihan-pilihan tersebut berhasil.

Neural architecture search membalik proses tersebut. Alih-alih manusia bereksperimen dengan arsitektur, algoritma menelusuri ribuan desain yang mungkin, melatih dan mengevaluasi setiap satu, lalu konvergen ke struktur yang kinerjanya lebih baik dari apa yang akan ditemukan desainer mana pun. Ini adalah salah satu contoh paling jelas dari AI yang digunakan untuk meningkatkan AI.

Inti Teknis

Neural architecture search (NAS) adalah teknik Machine Learning yang mengotomatisasi desain arsitektur jaringan neural. Alih-alih manusia menentukan jumlah lapisan, jenis koneksi, fungsi aktivasi, dan ukuran lapisan, NAS memperlakukan pilihan desain tersebut sebagai parameter yang dioptimalkan.

Bidang ini dipelopori di Google Brain pada 2016, ketika Barret Zoph dan Quoc Le menggunakan Reinforcement Learning untuk mencari struktur jaringan neural yang optimal, menghasilkan arsitektur yang menyamai atau melampaui model terkini yang dirancang manusia dalam pengenalan gambar dan tugas bahasa. Masalahnya adalah komputasi: pekerjaan awal itu membutuhkan 800 GPU yang berjalan selama berminggu-minggu.

Dekade terakhir berfokus pada membuat NAS menjadi praktis. Teknik modern seperti one-shot NAS dan differentiable architecture search (DARTS) dapat menemukan arsitektur yang solid dalam beberapa jam pada satu GPU. Metode ini kini tertanam dalam platform AutoML perusahaan, yang berarti tim tanpa keahlian ML mendalam dapat memanfaatkan NAS tanpa menjalankan pencarian sendiri.

Cara Pencarian Bekerja

Setiap sistem NAS memiliki tiga komponen yang bekerja bersama:

Ruang pencarian mendefinisikan pilihan arsitektur yang tersedia. Ruang pencarian yang besar mencakup lebih banyak kemungkinan tetapi membutuhkan waktu lebih lama untuk dijelajahi. Ruang pencarian yang dirancang dengan baik mengkodekan pengetahuan domain: untuk tugas gambar, mungkin berfokus pada lapisan konvolusional dan pola konektivitas tertentu yang diketahui berhasil untuk visi; untuk tugas sekuens, mungkin memusatkan perhatian pada mekanisme perhatian.

Strategi pencarian memutuskan cara menjelajahi ruang tersebut secara efisien. Pencarian acak sederhana akan mencoba ribuan arsitektur acak dan mengevaluasi masing-masing dari awal. Strategi modern lebih cerdas: Reinforcement Learning melatih kontroler yang mempelajari pilihan mana yang cenderung menghasilkan hasil baik. Algoritma evolusioner mempertahankan populasi arsitektur dan mengembangkannya menuju kinerja yang lebih baik. Metode yang dapat diturunkan (differentiable) mengendurkan pilihan arsitektur diskrit menjadi parameter kontinu yang dapat dioptimalkan langsung oleh gradient descent, membuat pencarian menjadi lebih cepat secara berlipat ganda.

Strategi estimasi kinerja mengevaluasi arsitektur kandidat tanpa biaya melatih setiap satu secara penuh. Melatih satu arsitektur hingga konvergensi bisa memakan waktu berhari-hari. Teknik estimasi kinerja seperti weight sharing, early stopping, atau pelatihan pada subset data yang lebih kecil memungkinkan sistem NAS mengevaluasi ribuan kandidat dengan biaya yang praktis.

Apa yang Dihasilkan NAS

Arsitektur yang dihasilkan NAS sering terlihat aneh bagi mata manusia. Arsitektur ini merusak struktur lapisan demi lapisan yang rapi yang akan digambar desainer manusia. Mereka memiliki skip connections yang tidak biasa, ukuran lapisan yang asimetris, dan pola mikro berulang yang pencarian temukan efektif tanpa membutuhkan manusia memahami mengapa mereka berhasil.

Dan mereka berhasil dengan baik. EfficientNet, yang ditemukan melalui NAS, menjadi arsitektur klasifikasi gambar yang dominan selama beberapa tahun, melampaui model yang dirancang tangan pada setiap titik trade-off antara akurasi dan efisiensi. Varian MobileNet yang ditemukan NAS mentenagai pemahaman gambar pada smartphone dan perangkat tertanam. MnasNet, yang dioptimalkan khusus untuk perangkat keras mobile, menjalankan klasifikasi gambar pada ponsel Android dengan latensi 75ms sambil menyamai akurasi model sepuluh kali lebih besar.

Kesadaran perangkat keras adalah fitur pembeda. NAS dapat mengoptimalkan bukan hanya untuk akurasi tetapi juga untuk latensi pada perangkat keras tertentu, jejak memori, konsumsi daya, atau kombinasi apa pun. Model yang secara teoritis efisien mungkin berjalan lambat pada perangkat keras inferensi Anda yang sebenarnya karena tidak memetakan dengan baik ke hierarki memori GPU. NAS yang mencari langsung terhadap benchmark perangkat keras menemukan arsitektur yang cepat dalam praktik, bukan hanya di atas kertas.

Kasus Bisnis: Kapan NAS Sepadan?

NAS berada di sudut tertentu keputusan investasi AI. Ini bukan untuk setiap tim atau proyek.

NAS masuk akal ketika:

• Anda menggunakan model dengan volume tinggi di mana pengurangan 20% dalam biaya inferensi bertambah menjadi penghematan nyata
• Anda menggunakan pada perangkat keras terbatas (mobile, perangkat edge, sistem tertanam) di mana arsitektur siap pakai tidak sesuai
• Anda membangun produk di mana kualitas model adalah pembeda kompetitif dan Anda dapat berinvestasi dalam menemukan arsitektur terbaik yang mungkin
• Anda adalah penyedia platform yang membangun kapabilitas fundamental yang akan digunakan banyak produk

NAS kurang masuk akal ketika:

• Anda dapat melakukan fine-tuning model pra-latih dan itu memenuhi kebutuhan Anda (biasanya langkah pertama yang tepat)
• Kasus penggunaan AI Anda sering berubah dan arsitektur yang Anda optimalkan hari ini akan digantikan dalam enam bulan
• Anda tidak memiliki infrastruktur atau keahlian untuk menjalankan bahkan NAS efisien modern

Jalan tengahnya adalah menggunakan platform AutoML yang menyematkan NAS secara internal. Google Cloud AutoML, Azure Automated Machine Learning, dan Amazon SageMaker Autopilot semuanya menggunakan teknik turunan NAS di balik layar, memungkinkan tim mendapatkan beberapa manfaat tanpa menjalankan pencarian sendiri.

NAS dalam Konteks AI Modern

Kebangkitan model bahasa besar dan model fondasi telah menggeser di mana NAS paling berdampak. Untuk tugas bahasa, melakukan fine-tuning pada LLM pra-latih hampir selalu mengalahkan melatih arsitektur yang dioptimalkan NAS dari awal. Model fondasi mengandung terlalu banyak pengetahuan pra-latih untuk dilepaskan.

Tetapi NAS tetap sangat relevan untuk:

Domain khusus di mana model fondasi tidak ada atau kurang sesuai, seperti pencitraan medis, data sensor industri, dan jenis data ilmiah tertentu.

Penyebaran edge, di mana kompresi model dan NAS yang sadar perangkat keras bersama-sama menghasilkan arsitektur yang sesuai pada perangkat dengan batasan memori dan komputasi yang ketat.

Desain model yang efisien untuk perangkat keras baru, di mana produsen chip menggunakan NAS untuk menemukan arsitektur yang mengeksploitasi karakteristik spesifik silikon mereka.

Arsitektur transformer itu sendiri telah disempurnakan melalui proses pencarian mirip NAS. Banyak inovasi arsitektur modern (pola perhatian yang efisien, lapisan sparse, struktur mixture-of-experts) muncul dari pencarian sistematis di antara pilihan arsitektur, meskipun peneliti tidak menyebutnya NAS.

Konsep AI Terkait

• Jaringan Neural - Blok bangunan yang NAS gabungkan menjadi arsitektur
• Deep Learning - Kerangka kerja lebih luas di mana NAS beroperasi
• Kompresi Model - Teknik pelengkap untuk memasukkan model ke perangkat keras terbatas
• Arsitektur Transformer - Keluarga arsitektur dominan yang NAS bantu sempurnakan
• Edge AI - Konteks penyebaran di mana NAS yang sadar perangkat keras paling bernilai
• Model Fondasi - Pendekatan alternatif ketika pra-pelatihan pada skala melampaui pencarian arsitektur kustom

Sumber Eksternal

• Google Brain NAS Research - Kelompok penelitian asli untuk NAS modern
• DARTS Paper - Paper differentiable architecture search yang membuat NAS praktis
• AutoML.org - Survei metode Machine Learning otomatis termasuk NAS

FAQ