OpenAI, Anthropic va Google kabi uchta yirik AI gigantining flagman modellari bir maydonda bellashganda, qaysi biri robotlarni yaxshiroq boshqaradi?
20-oktabr kuni Mifeng Technology, Hugging Face, NVIDIA, Tsinghua universiteti va boshqa jami 20 ga yaqin universitet, korxona va ilmiy-tadqiqot muassasalari tomonidan birgalikda tashabbus qilingan embodied arena RoboColiseum ushbu bosqich baholash natijalarini eʼlon qildi: Claude Opus 5.5 toʻrtta flagman model orasida umumiy natija boʻyicha birinchi oʻrinni egalladi, GPT-6 Astra esa undan keyingi oʻrinda.
Kichik boʻlimlar boʻyicha qaralganda, toʻrtta flagman model orasida GPT-6 Astra koʻrsatmalarga rioya qilish va umumiy buzilishlarga moslashish boʻyicha yetakchilik qildi, bunda koʻrsatmalarga rioya qilish balli 99.35 ga yetdi; Opus fazoviy tushunish va umumiy manipulyatsiyada yaxshiroq natija koʻrsatdi hamda barcha bosqich baholashlarida eng kam token sarflab, flagman guruhida umumiy birinchi oʻrinni egalladi. Tasvir sifati buzilgan testlarda GPT-6.1 Sol boshqa uchta modeldan sezilarli orqada qoldi, bu esa turli modellarning vizual axborot oʻzgarishlariga qarshi barqarorligidagi farqlarni koʻrsatadi.
Biroq ushbu bosqichning umumiy reytingida birinchi ikki oʻrinni hanuz embodied strategiya modellari egalladi, xususan umumiy manipulyatsiya oʻlchamida ustunlikni saqlab qoldi.
Ushbu bir maydondagi bellashuv sohaga umumiy katta modellar va embodied strategiya modellarining kuchli tomonlari hamda kamchiliklarini aniq koʻrish uchun bevosita havola boʻlib xizmat qiladi.
RoboColiseum koʻrsatmalarga rioya qilish, fazoviy tushunish, buzilishlarga moslashish va umumiy manipulyatsiya atrofida toʻrt turdagi qobiliyat sub-reytingi, 78 ta yuqori aniqlikdagi simulyatsion baholash vazifasini taqdim etadi, bu modellarning kichik boʻlimlar boʻyicha natijalarini koʻrsatish bilan birga vazifani bajarish qadamlarini va muvaffaqiyatsizlik joylarini ham qayd etadi, developerlarga model qobiliyatidagi kamchiliklarni tezda aniqlashga yordam beradi.
Birgalikda tashabbuskor sifatida Mifeng RoboColiseum uchun yuqori aniqlikdagi obyekt aktivlari va simulyatsion sahnalarni taqdim etadi, murakkab robot manipulyatsiya vazifalarini baholash muhitini qurishni qoʻllab-quvvatlaydi hamda turli obyektlar bilan oʻzaro taʼsir, fazoviy joylashuv va muhit sharoitlarida model qobiliyatlarini sinash uchun asosiy resurslarni taqdim etadi.
Modellarning simulyatsiyadagi natijalari real manipulyatsiya koʻrsatkichlarini aks ettira oladimi, bu ham baholashning muhim jihatidir. Platforma eʼlon qilgan real sinov natijalariga koʻra, RoboColiseum simulyatsion baholash bilan real qurilmada joylashtirish oʻrtasidagi korrelyatsiya 89.5% ga yetdi, bir xil modelning simulyatsiya va real dunyodagi baholash farqi 10% dan kam, bu developerlarga real qurilma sinoviga kirishdan oldin modelni saralash va muammolarni aniqlash uchun havola boʻlib xizmat qilishi mumkin.
Mifeng Technology “toʻliq, yaxshi va tez” maʼlumot taʼminoti tizimini taqdim etadi, bu real qurilma, simulyatsiya va tanasiz uchta asosiy maʼlumot paradigmasini qamrab oladi. Simulyatsiya jihatidan Mifeng obyekt aktivlari va muhit aktivlari kabi ikki turdagi resursni taqdim etadi, turli kundalik buyumlar va ichki makon sahnalarini qamrab oladi hamda sahnalarni qayta qurish, ekspert trajektoriyasi maʼlumotlarini olish va baholash natijalarini vizuallashtirish kabi imkoniyatlarni taqdim etadi, model jamoalariga xilma-xil trening va baholash oʻtkazishda yordam beradi.
Coliseum dastlab qadimgi Rimdagi dumaloq arena maʼnosini bildirgan, RoboColiseum shu obrazga tayanib, koʻp oʻlchamli tizimli baholash tizimini quradi va real qurilma koʻrsatkichlari bilan yuqori darajada mos keladigan simulyatsion baholash orqali embodied intellekt modellari uchun ochiq, neytral va takrorlanadigan “arena” hamda “mashq maydoni” barpo etadi. Har qanday universitet, ilmiy-tadqiqot muassasasi yoki korxona developeri oʻz modelini topshirib, standartlashtirilgan “imtihon”dan oʻtishi mumkin. Avgust oyida ishga tushganidan beri mamlakat ichida va xorijda 100 dan ortiq jamoa platformada model treningi va baholashini amalga oshirdi.
RoboColiseum hozirda butun dunyo developerlari uchun ochiq, model jamoalarini baholashda ishtirok etishga taklif qilamiz.
