Ternyata Begini Cara Kerja ChatGPT, Gunakan Ribuan GPU

Serta menjawab berbagai pertanyaan pengguna dengan bahasa yang mudah dimengerti,

Seperti diketahui, OpenAI merupakan mitra kerja sama Microsoft sejak 2019 lalu.

Kerja sama antara kedua perusahaan ini diperpanjang pada Februari 2023 kemarin via investasi senilai 10 miliar dolar AS (sekitar Rp 151 triliun).

Dengan kerja sama ini, tak aneh apabila OpenAI bisa menggunakan infrastruktur Microsoft Azure untuk menjalankan ChatGPT.

Nah, dalam sebuah postingan blog, Microsoft menjelaskan bagaimana sebenarnya ChatGPT berjalan di atas puluhan hingga ribuan GPU Nvidia, yaitu dengan model GPU AI Nvidia A100 atau H100, yang saling terhubung di jaringan Microsoft Azure.

Microsoft Head of Product for Azure High-Performance Computing and AI, Nidhi Chappel menjelaskan bahwa infrastruktur Azure dipakai OpenAI untuk melatih model AI ChatGPT supaya bisa merespons banyak hal.

Dalam prosesnya, beban kerja ChatGPT, terutama setelah menerima jawaban atau kueri pengguna, akan diproses secara merata ke puluhan hingga ribuan GPU Nvidia, yang ada di dalam infrastruktur Azure.

Nantinya, masing-masing GPU yang ada di satu infrastruktur akan saling bertukar informasi secara cepat, sehingga ChatGPT bisa memberikan respons yang akurat, tentunya dengan bahasa yang mudah dimengerti dalam waktu singkat.

Mengandalkan jaringan InfiniBand Tidak sekadar menghubungkan ribuan GPU AI saja, pemrosesan model AI yang digunakan ChatGPT ini juga mengandalkan sistem atau jaringan Microsoft Azure yang bernama InfiniBand.

Jaringan ini diklaim Chappel dapat menghubungkan ribuan GPU untuk menopang sekaligus mengakselerasi kinerja AI.

“Karena pemrosesan AI ini membutuhkan ribuan GPU, kami harus memastikan bahwa kami memiliki infrastruktur dan jaringan yang cocok di sistem inti (backend) kami.

Dengan begitu, kami bisa menunjang komunikasi lebih cepat secara terus-menerus,” jelas Chappel, dikutip dari Microsoft.com pada Rabu 15 Maret 2023.

“Pemrosesan ini tidak semudah seperti Anda membeli banyak GPU dan berharap aneka hardware tersebut bisa bekerja dengan mumpuni apabila digabungkan satu sama lain.

Sebab, beban kerja AI seperti ini hanya bisa berjalan optimal apabila ada sebuah sistem yang bisa mengoptimasi suatu performa dari model pembelajaran AI,” imbuh Chappel.

Ke depannya, Microsoft melanjutkan bahwa kapasitas ribuan GPU yang ada di dalam infrastruktur Azure akan bertambah seiring berjalannya waktu.

Penambahan ini bukan dari Microsoft semata, melainkan juga dari mitra-mitra mereka.

Adapun penggabungan kapasitas atau GPU dari mitra lain ini sangat memungkinkan untuk dilakukan, lantaran tim internal dan mitra Microsoft menggunakan satu sistem atau jaringan yang serupa.

Dengan begitu, jaringan InfiniBand Network yang bisa mempercepat kinerja AI tadi, yang ditopang ribuan GPU buatan Nvidia, bisa berkembang dan bisa menjangkau beban AI yang lebih besar lagi, serta bisa dipakai lebih banyak orang di masa depan.