Blog Gratisan

Path To Subsequent Era Language Models

Halo semua, kali ini kita akan membahas tentang Path To Subsequent Era Language Models. Seperti apa sih pembahasannya? Yuk simak!

Google mengumumkan terobosan dalam upaya menciptakan arsitektur AI yang dapat menangani jutaan tugas berbeda, termasuk pembelajaran dan penalaran yang kompleks. Sistem baru ini disebut Mannequin Bahasa Pathwaysdisebut sebagai PALM.

PaLM mampu mengungguli mannequin bahasa dan manusia terkini dalam tes bahasa dan penalaran.

Tetapi para peneliti juga menunjukkan bahwa mereka tidak dapat menggoyahkan keterbatasan yang melekat pada mannequin bahasa skala besar yang secara tidak sengaja dapat menghasilkan hasil etis yang negatif.

Informasi latar belakang

Beberapa bagian berikutnya adalah informasi latar belakang yang menjelaskan tentang apa algoritma ini.

Pembelajaran Sedikit-Tembak

Pembelajaran sedikit-shot adalah tahap pembelajaran berikutnya yang bergerak di luar pembelajaran yang mendalam.

Peneliti Google Mind, Hugo Larochelle (@hugo_larochelle) mengatakan dalam presentasi berjudul, Generalisasi dari Beberapa Contoh dengan Meta-Studying (video) menjelaskan bahwa dengan deep studying, masalahnya adalah mereka harus mengumpulkan sejumlah besar information yang membutuhkan banyak tenaga manusia.

Dia menunjukkan bahwa pembelajaran mendalam kemungkinan tidak akan menjadi jalan menuju AI yang dapat menyelesaikan banyak tugas karena dengan pembelajaran mendalam, setiap tugas membutuhkan jutaan contoh untuk dipelajari dari setiap kemampuan yang dipelajari AI.

Larochelle menjelaskan:

“…idenya adalah bahwa kami akan mencoba untuk menyerang masalah ini secara langsung, masalah pembelajaran sedikit-sedikit ini, yang merupakan masalah menggeneralisasikan dari sejumlah kecil information.

…ide utama dalam apa yang akan saya sajikan adalah bahwa alih-alih mencoba mendefinisikan apa itu algoritme pembelajaran dengan N dan menggunakan intuisi kita tentang algoritme apa yang tepat untuk melakukan pembelajaran beberapa kali, tetapi sebenarnya mencoba mempelajari algoritme itu dalam cara ujung ke ujung.

Dan itulah mengapa kami menyebutnya belajar untuk belajar atau saya suka menyebutnya, meta studying.”

Tujuan dengan pendekatan beberapa tembakan adalah untuk memperkirakan bagaimana manusia mempelajari hal-hal yang berbeda dan dapat menerapkan potongan-potongan pengetahuan yang berbeda bersama-sama untuk memecahkan masalah baru yang belum pernah dihadapi sebelumnya.

Keuntungannya kemudian adalah mesin yang dapat memanfaatkan semua pengetahuan yang dimilikinya untuk memecahkan masalah baru.

Dalam kasus PaLM, contoh kemampuan ini adalah kemampuannya untuk menjelaskan lelucon yang belum pernah ditemui sebelumnya.

AI jalur

Pada Oktober 2021 Google menerbitkan sebuah artikel yang menguraikan tujuan untuk arsitektur AI baru yang disebut Pathways.

Pathways mewakili babak baru dalam kemajuan berkelanjutan dalam mengembangkan sistem AI.

Pendekatan yang biasa dilakukan adalah membuat algoritme yang dilatih untuk melakukan hal-hal tertentu dengan sangat baik.

Pendekatan Pathways adalah membuat mannequin AI tunggal yang dapat menyelesaikan semua masalah dengan mempelajari cara menyelesaikannya, dengan cara itu menghindari cara yang kurang efisien dalam melatih ribuan algoritme untuk menyelesaikan ribuan tugas berbeda.

Menurut dokumen Pathways:

“Sebaliknya, kami ingin melatih satu mannequin yang tidak hanya dapat menangani banyak tugas terpisah, tetapi juga memanfaatkan dan menggabungkan keterampilan yang ada untuk mempelajari tugas baru lebih cepat dan lebih efektif.

Dengan cara itu apa yang dipelajari mannequin dengan melatih satu tugas – misalnya, mempelajari bagaimana gambar udara dapat memprediksi ketinggian lanskap – dapat membantunya mempelajari tugas lain – katakanlah, memprediksi bagaimana air banjir akan mengalir melalui medan itu.”

Pathways mendefinisikan langkah Google ke depan untuk membawa AI ke degree berikutnya untuk menutup kesenjangan antara pembelajaran mesin dan pembelajaran manusia.

Mannequin terbaru Google, yang disebut Pathways Language Mannequin (PaLM), adalah langkah selanjutnya dan menurut makalah penelitian baru ini, PaLM mewakili kemajuan signifikan di bidang AI.

Apa yang Membuat Google PaLM Terkemuka

PaLM menskalakan proses pembelajaran beberapa langkah.

Menurut makalah penelitian:

“Mannequin bahasa besar telah terbukti mencapai kinerja luar biasa di berbagai tugas bahasa alami menggunakan pembelajaran beberapa kali, yang secara drastis mengurangi jumlah contoh pelatihan khusus tugas yang diperlukan untuk mengadaptasi mannequin ke aplikasi tertentu.

Untuk lebih memahami dampak skala pada pembelajaran beberapa kali, kami melatih mannequin bahasa Transformer 540 miliar parameter, yang diaktifkan secara padat, yang kami sebut Pathways Language Mannequin (PaLM).”

Ada banyak makalah penelitian yang diterbitkan yang menjelaskan algoritme yang tidak berkinerja lebih baik daripada keadaan seni saat ini atau hanya mencapai peningkatan bertahap.

Tidak demikian halnya dengan PaLM. Para peneliti mengklaim peningkatan signifikan atas mannequin terbaik saat ini dan bahkan mengungguli tolok ukur manusia.

Tingkat keberhasilan itulah yang membuat algoritme baru ini terkenal.

Para peneliti menulis:

“Kami mendemonstrasikan manfaat berkelanjutan dari penskalaan dengan mencapai hasil pembelajaran beberapa bidikan mutakhir pada ratusan pemahaman bahasa dan tolok ukur generasi.

Pada sejumlah tugas ini, PaLM 540B mencapai kinerja terobosan, mengungguli state of-the-art yang disetel dengan baik pada serangkaian tugas penalaran multi-langkah, dan mengungguli kinerja rata-rata manusia pada benchmark BIG-bench yang baru-baru ini dirilis.

Sejumlah besar tugas BIG-bench menunjukkan peningkatan terputus-putus dari skala mannequin, yang berarti bahwa kinerja meningkat tajam saat kami menskalakan ke mannequin terbesar kami.”

PaLM mengungguli keadaan seni dalam tugas pemrosesan bahasa Inggris alami dan itu membuat PaLM penting dan terkenal.

Pada benchmark kolaboratif yang disebut BIG-bench yang terdiri dari lebih dari 150 tugas (terkait dengan penalaran, terjemahan, menjawab pertanyaan), PaLM mengungguli keadaan seni tetapi ada space di mana ia tidak melakukannya dengan baik.

Patut dicatat adalah bahwa kinerja manusia mengungguli PaLM pada 35% tugas, khususnya tugas-tugas yang berhubungan dengan matematika (Lihat bagian 6.2 bangku besar makalah penelitian, halaman 17).

PaLM lebih baik dalam menerjemahkan bahasa lain ke dalam bahasa Inggris daripada menerjemahkan bahasa Inggris ke bahasa lain. Para peneliti menyatakan bahwa ini adalah masalah umum yang dapat diselesaikan dengan memprioritaskan lebih banyak information multibahasa.

Namun demikian, PaLM cukup banyak mengungguli mannequin bahasa lain dan manusia di seluruh papan.

Kemampuan untuk Bernalar

Catatan khusus adalah kinerjanya dengan tugas-tugas penalaran aritmatika dan akal sehat.

Contoh tugas aritmatika:

Pertanyaan:
Roger memiliki 5 bola tenis. Dia membeli 2 kaleng bola tenis lagi. Setiap kaleng berisi 3 bola tenis. Berapa banyak bola tenis yang dia miliki sekarang?

Menjawab:
Jawabannya adalah 11.

Contoh penalaran akal sehat:

Pertanyaan:
Sean terburu-buru untuk pulang, tetapi lampu berubah menjadi kuning dan dia terpaksa melakukan apa?
Pilihan Jawaban: (a) membutuhkan waktu (b) berlama-lama (c) berjalan lambat (d) lautan (e) melambat

Menjawab:
Jawabannya adalah (e) pelan-pelan.

Menghasilkan Penjelasan

Contoh luar biasa lainnya tentang betapa canggihnya PaLM dalam pengujian menghasilkan penjelasan.

Begini cara makalah penelitian menjelaskannya:

“Tujuan dari bagian ini adalah untuk menunjukkan kemampuan PaLM sehubungan dengan pembuatan bahasa penjelasan, untuk permintaan yang memerlukan kombinasi kompleks dari rangkaian inferensi logis, pengetahuan dunia, pemahaman bahasa abstrak, dan pemahaman bahasa leksikografis (misalnya, permainan kata-kata).”

Penjelasan Lelucon

Berikut adalah contoh mannequin bahasa yang menjelaskan lelucon:

Candaan:
Saya akan terbang untuk mengunjungi keluarga saya pada tanggal 6 April. Ibuku berkata, “Oh bagus, pembacaan puisi ayah tirimu adalah malam itu!”

Jadi sekarang saya akan terbang pada tanggal 7 April.

Penjelasan Mannequin:
Leluconnya adalah bahwa ibu pembicara mencoba untuk membuat mereka pergi ke pembacaan puisi ayah tiri mereka, tetapi pembicara tidak mau pergi, jadi mereka mengubah penerbangan mereka ke hari setelah pembacaan puisi.

Rantai Inferensi

Berikut adalah contoh rantai inferensi, di mana banyak konsep dan entitas harus digabungkan dan dipertimbangkan dengan benar untuk membuat jawaban.

Memasukkan:
Guido sedang menulis program Python. Dia terus bingung dengan cakupan variabel dan mencarinya di StackOverflow.

Mungkinkah Guido di immediate mengacu pada Guido van Rossum?

Keluaran Mannequin:
Guido van Rossum adalah pencipta Python. Dia tidak perlu mencari cakupan variabel di StackOverflow. Jawabannya adalah tidak”.”

Berikut adalah satu contoh lagi:

Memasukkan:
Jennifer melihat ke luar jendela dan melihat awan yang sangat sejuk di bawahnya. Dia melepaskan sabuk pengamannya dan pergi ke kamar mandi. Apakah Jennifer mungkin melakukan perjalanan lebih dari 300 mil per jam relatif terhadap bumi?

Keluaran Mannequin:
300 mil per jam adalah sekitar 480 km/jam. Ini tentang kecepatan pesawat komersial. Awan biasanya di bawah pesawat, jadi Jennifer mungkin ada di pesawat.

Jawabannya iya”.”

Mesin Pencari Generasi Selanjutnya?

Contoh kemampuan PaLM untuk penalaran kompleks di atas menunjukkan bagaimana mesin pencari generasi berikutnya dapat menjawab jawaban kompleks dengan memanfaatkan pengetahuan dari Web dan sumber lain.

Mencapai arsitektur AI yang dapat menghasilkan jawaban yang mencerminkan dunia di sekitar kita adalah salah satu tujuan yang dinyatakan oleh Google Pathways dan PaLM adalah langkah ke arah itu.

Namun, penulis penelitian menekankan bahwa PaLM bukanlah kata terakhir tentang AI dan pencarian. Mereka secara eksplisit menyatakan bahwa PaLM adalah langkah pertama menuju jenis mesin pencari berikutnya yang Pathways bayangkan.

Sebelum kita melangkah lebih jauh, ada dua kata, istilah jargon, yang penting dipahami untuk memahami apa itu PaLM.

  • Modalitas
  • Generalisasi

kata “modalitas” adalah referensi tentang bagaimana hal-hal dialami atau keadaan di mana mereka ada, seperti teks yang dibaca, gambar yang dilihat, hal-hal yang didengarkan.

kata “generalisasi” dalam konteks pembelajaran mesin adalah tentang kemampuan mannequin bahasa untuk menyelesaikan tugas yang belum pernah dilatih sebelumnya.

Para peneliti mencatat:

“PaLM hanyalah langkah pertama dalam visi kami untuk menetapkan Pathways sebagai masa depan penskalaan ML di Google dan di luarnya.

Kami percaya bahwa PaLM menunjukkan fondasi yang kuat dalam tujuan akhir kami untuk mengembangkan sistem termodulasi skala besar yang akan memiliki kemampuan generalisasi yang luas di berbagai modalitas.”

Risiko Dunia Nyata dan Pertimbangan Etis

Yang berbeda dari makalah penelitian ini adalah para peneliti memperingatkan tentang pertimbangan etis.

Mereka menyatakan bahwa mannequin bahasa skala besar yang dilatih pada information net menyerap banyak stereotip “beracun” dan kesenjangan sosial yang tersebar di net dan mereka menyatakan bahwa PaLM tidak tahan terhadap pengaruh yang tidak diinginkan tersebut.

Makalah penelitian mengutip a makalah penelitian dari tahun 2021 yang mengeksplorasi bagaimana mannequin bahasa skala besar dapat mempromosikan bahaya berikut:

  1. Diskriminasi, Eksklusi dan Toksisitas
  2. Bahaya Informasi
  3. Misinformasi Bahaya
  4. Penggunaan Berbahaya
  5. Kerusakan Interaksi Manusia-Komputer
  6. Otomatisasi, Akses, dan Kerusakan Lingkungan

Terakhir, para peneliti mencatat bahwa PaLM memang mencerminkan stereotip sosial yang beracun dan memperjelas bahwa menyaring bias ini cukup menantang.

Para peneliti PaLM menjelaskan:

“Analisis kami mengungkapkan bahwa information pelatihan kami, dan akibatnya PaLM, mencerminkan berbagai stereotip sosial dan asosiasi toksisitas seputar istilah identitas.

Menghapus asosiasi ini, bagaimanapun, adalah non-sepele… Pekerjaan di masa depan harus melihat secara efektif menangani bias yang tidak diinginkan dalam information, dan pengaruhnya pada perilaku mannequin.

Sementara itu, setiap penggunaan PaLM di dunia nyata untuk tugas-tugas hilir harus melakukan evaluasi keadilan kontekstual lebih lanjut untuk menilai potensi bahaya dan memperkenalkan mitigasi dan perlindungan yang tepat.”

PaLM dapat dilihat sebagai mengintip seperti apa generasi pencarian berikutnya akan terlihat. PaLM membuat klaim luar biasa untuk mengungguli keadaan seni, tetapi para peneliti juga menyatakan bahwa masih banyak pekerjaan yang harus dilakukan, termasuk menemukan cara untuk mengurangi penyebaran informasi yang salah, stereotip beracun, dan hasil lain yang tidak diinginkan.

Kutipan

Baca Artikel Weblog AI Google Tentang PaLM

Pathways Language Model (PaLM): Menskalakan hingga 540 Miliar Parameter untuk Performa Terobosan

Baca Makalah Penelitian Google di PaLM

PaLM: Scaling Language Modeling dengan Pathways (PDF)


Semoga bermanfaat.

Leave a Reply