Model AI akan musnah sekiranya dilatih menggunakan data sintetik

Pada ketika ini kita di tahap kedua daripada lima ke arah AGI menurut OpenAI dan DeepMind.

Untuk menghasilkan AGI, data yang besar diperlukan tetapi pada ketika ini penyelidik sudahpun menghadapi masalah untuk mendapatkan data baharu kerana isu harta intelek serta kekurangan data baharu. Penyelesaiannya ialah menggunakan data sintetik iaitu data yang dihasilkan sendiri oleh AI berdasarkan data dunia sebenar.

Tetapi menurut kajian penyelidik Universiti Oxford, model AI akan “musnah” sekiranya dilatih menggunakan data sintetik yang dijana oleh model AI terdahulu.

Ini adalah kerana model bahasa raya (LLM) dilatih untuk membaca sebahagian daripada data yang diberikan padanya.

Selepas beberapa generasi dilatih menggunakan data sintetik, model akan runtuh menyebabkan jawapan yang diberikan menjadi tidak masuk akal.

Antara contoh yang diberikan ialah soalan mengenai rekaan gereja kurun ke-14. Generasi pertama LLM masih boleh memberikan jawapan yang relevan.

Tetapi selepas dilatih menggunakan data sintetik, generasi ke-9 LLM memberikan jawapan mengenai arnab dengan mencipta spesis yang tidak wujud. LLM ini langsung tidak boleh dipercayai dan digunakan.

Kajian ini dilakukan kerana syarikat AI kini melatih menggunakan data yang diambil daripada laman web tanpa kebenaran.

Isu sekarang ialah semakin banyak laman web menggunakan AI untuk menulis artikel. Tindakan mengambil data tanpa kebenaran tanpa melihat keasliannya akan menyebabkan model-model baharu yang dilatih menggunakannya bakal menghadapi keruntuhan yang sama.

Penyelidik menyarankan model LLM masa hadapan dilatih yang disaring dengan lebih baik dan terpilih sahaja sebelum mengakibatkan keruntuhan model.

Apa yang berlaku ke atas model AI ini adalah amat mirip dengan yang berlaku ke atas manusia sekiranya hanya mengahwini saudara rapat.

Pada manusia amalan mengahwini saudara rapat meningkatkan kecacatan genetik dan dalam kes paling terkemuka mewujudkan Rahang Habsburg yang mengakibatkan kemusnahan keluarga diraja Habsburg di Eropah.