Apakah Carian Seni Bina Neural? Apabila AI Mereka Bentuk Otaknya Sendiri

Mereka bentuk rangkaian neural dahulunya memerlukan pakar dengan pengalaman bertahun-tahun membuat andaian yang berpendidikan: berapa banyak lapisan? saiz berapa? corak sambungan yang mana? Kemudian menunggu beberapa hari untuk latihan dijalankan bagi melihat sama ada pilihan itu berjaya.

Carian seni bina neural membalikkan proses itu. Daripada manusia bereksperimen dengan seni bina, algoritma mencari ribuan reka bentuk yang mungkin, melatih dan menilai setiap satu, dan menumpu kepada struktur yang berprestasi lebih baik daripada apa yang mana-mana pereka individu akan temui. Ia adalah salah satu contoh paling jelas AI yang digunakan untuk menambah baik AI.

Teras Teknikal

Carian seni bina neural (NAS) adalah teknik Machine Learning yang mengautomasikan reka bentuk seni bina rangkaian neural. Daripada manusia menentukan bilangan lapisan, jenis sambungan, fungsi pengaktifan dan saiz lapisan, NAS merawat pilihan reka bentuk tersebut sebagai parameter untuk dioptimumkan.

Bidang ini dipelopori di Google Brain pada 2016, apabila Barret Zoph dan Quoc Le menggunakan Reinforcement Learning untuk mencari struktur rangkaian neural yang optimum, menghasilkan seni bina yang menyamai atau mengatasi model terkini yang direka manusia dalam pengecaman imej dan tugas bahasa. Masalahnya ialah pengiraan: kerja asal itu memerlukan 800 GPU berjalan selama berminggu-minggu.

Dekad yang lalu memberi tumpuan untuk menjadikan NAS praktikal. Teknik moden seperti one-shot NAS dan carian seni bina terbezakan (DARTS) boleh mencari seni bina yang kukuh dalam beberapa jam pada satu GPU. Kaedah kini tertanam dalam platform AutoML perusahaan, bermakna pasukan tanpa kepakaran ML yang mendalam boleh mendapat manfaat daripada NAS tanpa menjalankan carian sendiri.

Cara Carian Berfungsi

Setiap sistem NAS mempunyai tiga komponen yang bekerjasama:

Ruang carian menentukan pilihan seni bina yang tersedia. Ruang carian yang besar meliputi lebih banyak kemungkinan tetapi mengambil masa lebih lama untuk diterokai. Ruang carian yang direka dengan baik mengkodkan pengetahuan domain: untuk tugas imej, ia mungkin memberi tumpuan kepada lapisan konvolusional dan corak kesambungan tertentu yang diketahui berfungsi untuk visi; untuk tugas urutan, ia mungkin berpusat pada mekanisme perhatian.

Strategi carian memutuskan cara meneroka ruang tersebut dengan cekap. Carian rawak naif akan mencuba ribuan seni bina rawak dan menilai setiap satu dari awal. Strategi moden lebih bijak: Reinforcement Learning melatih pengawal yang mempelajari pilihan mana yang cenderung menghasilkan keputusan yang baik. Algoritma evolusi mengekalkan populasi seni bina dan mengembangkannya ke arah prestasi yang lebih baik. Kaedah terbezakan mengendurkan pilihan seni bina diskret kepada parameter berterusan yang kecerunan turun boleh mengoptimumkan secara langsung, menjadikan carian lebih pantas mengikut magnitud perintah.

Strategi anggaran prestasi menilai seni bina calon tanpa kos melatih setiap satu sepenuhnya. Melatih satu seni bina sehingga penumpuan boleh mengambil masa beberapa hari. Teknik anggaran prestasi seperti weight sharing, early stopping atau latihan pada subset data yang lebih kecil membolehkan sistem NAS menilai ribuan calon pada kos yang praktikal.

Apa yang Dihasilkan oleh NAS

Seni bina yang dihasilkan NAS sering kelihatan pelik pada mata manusia. Ia memecah struktur lapisan demi lapisan yang kemas yang akan dilukis oleh pereka manusia. Ia mempunyai skip connections yang luar biasa, saiz lapisan yang tidak simetri dan corak mikro berulang yang ditemui oleh carian adalah berkesan tanpa memerlukan manusia memahami mengapa ia berfungsi.

Dan ia berfungsi dengan baik. EfficientNet, ditemui melalui NAS, menjadi seni bina klasifikasi imej yang dominan selama beberapa tahun, mengatasi model reka bentuk tangan pada setiap titik pertukaran antara ketepatan dan kecekapan. Varian MobileNet yang ditemui melalui NAS menggerakkan pemahaman imej pada telefon pintar dan peranti terbenam. MnasNet, dioptimumkan khusus untuk perkakasan mudah alih, menjalankan klasifikasi imej pada telefon Android pada kependaman 75ms sambil menyamai ketepatan model sepuluh kali lebih besar.

Kesedaran perkakasan adalah ciri yang membezakan. NAS boleh mengoptimumkan bukan sahaja untuk ketepatan tetapi juga untuk kependaman pada perkakasan tertentu, jejak memori, penggunaan tenaga atau mana-mana gabungan. Model yang cekap secara teoritikal mungkin berjalan perlahan pada perkakasan inferens sebenar anda kerana ia tidak memetakan dengan baik ke hierarki memori GPU. NAS yang mencari terus terhadap penanda aras perkakasan mencari seni bina yang pantas dalam amalan, bukan hanya di atas kertas.

Kes Perniagaan: Bila NAS Berbaloi?

NAS berada di sudut tertentu keputusan pelaburan AI. Ia bukan untuk setiap pasukan atau projek.

NAS masuk akal apabila:

• Anda menggunakan model pada jumlah tinggi di mana pengurangan 20% dalam kos inferens bergabung menjadi penjimatan sebenar
• Anda menggunakan pada perkakasan yang terhad (mudah alih, peranti edge, sistem terbenam) di mana seni bina siap tidak sesuai
• Anda membina produk di mana kualiti model adalah pembeza persaingan dan anda boleh melabur dalam mencari seni bina terbaik yang mungkin
• Anda adalah pembekal platform yang membina keupayaan asas yang banyak produk akan gunakan

NAS kurang masuk akal apabila:

• Anda boleh melaraskan halus model pra-latih dan ia memenuhi keperluan anda (biasanya langkah pertama yang betul)
• Kes penggunaan AI anda kerap berubah dan seni bina yang anda optimumkan hari ini akan digantikan dalam enam bulan
• Anda tidak mempunyai infrastruktur atau kepakaran untuk menjalankan walaupun NAS cekap moden

Jalan tengah adalah menggunakan platform AutoML yang menanamkan NAS secara dalaman. Google Cloud AutoML, Azure Automated Machine Learning dan Amazon SageMaker Autopilot semuanya menggunakan teknik terbitan NAS di bawah tudung, membolehkan pasukan mendapat beberapa manfaat tanpa menjalankan carian sendiri.

NAS dalam Konteks AI Moden

Kebangkitan model bahasa besar dan model asas telah mengalihkan di mana NAS paling berkesan. Untuk tugas bahasa, melaraskan halus LLM pra-latih hampir selalu mengalahkan melatih seni bina yang dioptimumkan NAS dari awal. Model asas mengandungi terlalu banyak pengetahuan pra-latih untuk ditinggalkan.

Tetapi NAS kekal sangat relevan untuk:

Domain khusus di mana model asas tidak wujud atau kurang sesuai, seperti pengimejan perubatan, data penderia perindustrian dan jenis data saintifik tertentu.

Penggunaan edge, di mana pemampatan model dan NAS sedar perkakasan bersama-sama menghasilkan seni bina yang sesuai pada peranti dengan kekangan memori dan pengiraan yang ketat.

Reka bentuk model yang cekap untuk perkakasan baharu, di mana pengeluar cip menggunakan NAS untuk mencari seni bina yang mengeksploitasi ciri khusus silikon mereka.

Seni bina transformer itu sendiri telah diperhalusi melalui proses carian seperti NAS. Banyak inovasi seni bina moden (corak perhatian yang cekap, lapisan jarang, struktur mixture-of-experts) muncul daripada carian sistematik merentasi pilihan seni bina, walaupun penyelidik tidak menyebutnya NAS.

Konsep AI Berkaitan

• Rangkaian Neural - Blok bangunan yang NAS gabungkan menjadi seni bina
• Deep Learning - Kerangka yang lebih luas di mana NAS beroperasi
• Pemampatan Model - Teknik pelengkap untuk muat model pada perkakasan terhad
• Seni Bina Transformer - Keluarga seni bina dominan yang NAS bantu perhalusi
• Edge AI - Konteks penggunaan di mana NAS sedar perkakasan paling bernilai
• Model Asas - Pendekatan alternatif apabila pra-latihan pada skala mengatasi carian seni bina tersuai

Sumber Luaran

• Google Brain NAS Research - Kumpulan penyelidikan asal untuk NAS moden
• DARTS Paper - Kertas carian seni bina terbezakan yang menjadikan NAS praktikal
• AutoML.org - Tinjauan kaedah Machine Learning automatik termasuk NAS

FAQ