³×À̹öŬ¶ó¿ìµå(´ëÇ¥ ±èÀ¯¿ø)´Â 27ÀÏ ¹ßÇ¥¸¦ ÅëÇØ, ÇÏÀÌÆÛŬ·Î¹Ù ¿¢½º(HyperCLOVA X)°¡ Çѱ¹ÆÇ AI ¼º´É Æò°¡ ü°è ‘KMMLU(Measuring Massive Multitask Language Understanding in Korean)’¿¡¼ ¿ÀÇÂAI, ±¸±ÛÀÇ »ý¼ºÇü AIº¸´Ù ³ôÀº Á¡¼ö¸¦ ±â·ÏÇÏ¸ç ¼Ò¹ö¸° AI·Î¼ ¿ì¼öÇÑ ¼º´É °æÀï·ÂÀ» È®ÀÎÇÒ ¼ö ÀÖ¾ú´Ù°í ¹àÇû´Ù.
¡Ø KMMLU = Measuring Massive Multitask Language Understanding in Korean (https://arxiv.org/abs/2402.11548)
KMMLU´Â ±¹³»ÀÇ ´ëÇ¥ÀûÀÎ ¿ÀǼҽº ¾ð¾î¸ðµ¨ ¿¬±¸ÆÀÀÎ ‘ÇØ·Ê(HAE-RAE)’°¡ À̲ö AI ¼º´É Æò°¡ ÁöÇ¥ ±¸Ãà ÇÁ·ÎÁ§Æ®´Ù.
Àι®ÇÐ, »çȸÇÐ, °úÇÐ∙±â¼ú µî 45°³ ºÐ¾ß¿¡¼ Àü¹®°¡ ¼öÁØÀÇ Áö½ÄÀ» ¹¯´Â 35,030°³ ¹®Ç×À¸·Î ±¸¼ºµÅ ÀÖ´Ù.
¼öÇÐÀû Ãß·Ð ´É·Â°ú °°ÀÌ Àü¼¼°è °øÅëÀûÀ¸·Î Àû¿ë °¡´ÉÇÑ ±¤¹üÀ§ÇÑ Áö½ÄÀ» ¹¯´Â ¹®Ç× ºñÁßÀÌ ¾à 80%, Çѹݵµ Áö¸®, ±¹³»¹ý µî Çѱ¹ Æ¯È ¹®Á¦ ÇØ°á ´É·ÂÀ» Æò°¡Çϱâ À§ÇÑ ¹®Ç×Àº 20%·Î, AIÀÇ º¸ÆíÀû ´É·Â°ú ·ÎÄà Áö½ÄÀ» °í¸£°Ô ÃøÁ¤ÇØ Çѱ¹ »ç¿ëÀÚ¿¡°Ô À¯¿ëÇÑ AI¸¦ Á¾ÇÕÀûÀ¸·Î ÆÇ´ÜÇÒ ¼ö ÀÖ´Ù.
¶ÇÇÑ ¿ÀÇÂAI, ±¸±Û µî ºÏ¹Ì Å×Å© ±â¾÷µéÀÌ ÀÚ»ç AI ¼º´ÉÀ» È®ÀÎÇϱâ À§ÇØ ÁÖ·Î »ç¿ëÇÏ´Â ÁöÇ¥ ‘MMLU’¸¦ Çѱ¹¾î·Î ¹ø¿ªÇÏ´Â °æ¿ì, ¹®Ç×ÀÇ ºÎÁ¤È®ÇÑ ¹ø¿ª°ú ¿©·¯ ¹®Á¦¿¡ ³»ÀçµÈ ¿µ¾î±Ç ±¹°¡¸¸ÀÇ ¹®ÈÀû ¸Æ¶ô ¶§¹®¿¡ AI ¸ðµ¨ÀÇ Çѱ¹¾î ´É·ÂÀ» Á¦´ë·Î °¡´ÆÇϱ⠾î·Á¿î ÇÑ°è°¡ ÀÖ¾ú´Ù.
KMMLU´Â Çѱ¹¾î ¿øº»ÀÇ ½ÃÇè ¹®Á¦µé·Î ±¸¼ºµÇ¾î, ±¹³»∙¿Ü AIÀÇ Çѱ¹¾î ÀÌÇØ ¿ª·®µµ º¸´Ù Á¤È®ÇÏ°Ô Æò°¡ÇÒ ¼ö ÀÖ´Ù.
À̹ø KMMLU ¿¬±¸ ³í¹®¿¡ µû¸£¸é, ÇÏÀÌÆÛŬ·Î¹Ù ¿¢´Â ¿ÀÇÂAIÀÇ GPT-3.5-Ÿº¸(Turbo)¿Í ±¸±ÛÀÇ Á¦¹Ì´Ï-ÇÁ·Î(Gemini-Pro)º¸´Ù ³ôÀº Á¡¼ö¸¦ ±â·ÏÇϸç, ÀÏ¹Ý Áö½Ä(General Knowledge)°ú Çѱ¹ Æ¯È Áö½Ä(Korea-Specific Knowledge)À» Á¾ÇÕÇÑ Àü¹ÝÀûÀÎ ¼º´ÉÀÌ ±Û·Î¹ú ºòÅ×Å©ÀÇ AI¿Í °æÀïÇÒ ¼ö ÀÖ´Â ¼öÁØÀÓÀÌ È®ÀεƴÙ.
Çѱ¹ Æ¯È Áö½Ä ±âÁØÀ¸·Î´Â ¿ÀÇÂAIÀÇ GPT-4º¸´Ùµµ ³ôÀº Á¡¼ö¸¦ ±â·ÏÇØ, ±³À°, ¹ý·ü µî ·ÎÄà Á¤º¸ÀÇ Á߿伺ÀÌ Å« »ê¾÷ ºÐ¾ß¿¡¼´Â ÇÏÀÌÆÛŬ·Î¹ÙX°¡ °¡Àå À¯¿ëÇÒ ¼ö ÀÖÀ½À» º¸¿´´Ù.
³×À̹öŬ¶ó¿ìµå´Â KMMLU¸¦ ÅëÇØ ÀÔÁõµÈ ÇÏÀÌÆÛŬ·Î¹Ù ¿¢½ºÀÇ ¼º´É °æÀï·ÂÀ» ¹ÙÅÁÀ¸·Î, ÇÏÀÌÆÛŬ·Î¹ÙX¸¦ º¸¾È°ú ¼º´ÉÀ» ¸ðµÎ °®Ãá ‘¼Ò¹ö¸°(Sovereign) AI’ ¼Ö·ç¼ÇÀ¸·Î ¹ßÀü½ÃÄѳª°¡°Ú´Ù´Â °èȹÀÌ´Ù.
Áö³ÇØ 10¿ù¿¡ °í°´»ç°¡ Æó¼âµÈ »ç³»¸Á¿¡¼ ÇÏÀÌÆÛŬ·Î¹Ù ¿¢½º¸¦ »ç¿ëÇÏ¸ç µ¥ÀÌÅÍ À¯ÃâÀ» ¹æÁöÇÒ ¼ö ÀÖ´Â ÇÏÀ̺긮µå Ŭ¶ó¿ìµå ¼ºñ½º ‘´º·ÎŬ¶ó¿ìµå Æ÷ ÇÏÀÌÆÛŬ·Î¹ÙX(Neurocloud for HyperCLOVA X)’¸¦ Ãâ½ÃÇß°í, ÇâÈÄ ´Ù¾çÇÑ ±â¾÷¿ë ¼Ö·ç¼Çµµ ¼±º¸ÀÏ °èȹÀÌ´Ù.
¼º³«È£ ³×À̹öŬ¶ó¿ìµå ÇÏÀÌÆÛ½ºÄÉÀÏ(Hyperscale) AI ±â¼ú ÃÑ°ýÀº “ÇÏÀÌÆÛŬ·Î¹Ù ¿¢½º´Â ¼¼°è °øÅëÀÇ º¸Æí Áö½Ä¿¡ Çѱ¹ Æ¯È ¹®Á¦ ÇØ°á ´É·ÂÀ» ´õÇÑ ¼Ò¹ö¸° AI·Î, ¿ì¼öÇÑ ¼º´É, °·ÂÇÑ º¸¾ÈÀ» °®Ãá ¼Ö·ç¼Ç°ú ÇÔ²² ±¹³» »ê¾÷°è Àü¹Ý¿¡¼ µµÀÔÀÌ ÀÌ·ïÁö°í ÀÖ´Ù”¸ç “ÀÚ±¹¾î Á᫐ AI¿¡ ´ëÇÑ Àü¼¼°èÀû ¼ö¿ä°¡ °üÂûµÇ´Â ¸¸Å, Çѱ¹¿¡¼ È®ÀÎÇÑ ¼Ò¹ö¸° AIÀÇ °æÀï·ÂÀ» ¹ÙÅÁÀ¸·Î ÇâÈÄ ±Û·Î¹ú ½ÃÀå ÁøÃâ¿¡µµ ¼Óµµ¸¦ ³¾ °Í”À̶ó°í ¸»Çß´Ù.
ÇÑÆí, ³×À̹öŬ¶ó¿ìµå´Â KMMLU¸¦ ¼³°èÇÏ´Â °úÁ¤¿¡µµ Âü¿©Çϸç, AI ¸ðµ¨µéÀÇ Çѱ¹¾î ÀÌÇØ ´É·ÂÀ» º¸´Ù °´°üÀûÀ¸·Î Æò°¡ÇØ ´õ¿í ¿ì¼öÇÑ ¼º´ÉÀÇ AI°¡ Çѱ¹¿¡¼ ¸¸µé¾îÁú ¼ö Àִ ȯ°æÀ» Á¶¼ºÇÏ´Â µ¥¿¡µµ Àû±ØÀûÀ¸·Î ±â¿©ÇÏ°í ÀÖ´Ù.
2021³â¿¡´Â 30¿©°÷ ±â¾÷°ú ´ëÇÐÀÇ ÀÚ¿¬¾îó¸® Àü¹®°¡µé°ú ÇÔ²² Çѱ¹¾î ÀÚ¿¬¾î ÀÌÇØ º¥Ä¡¸¶Å© ‘KLUE(Korean Language Understanding Evaluation)’¸¦ ±¸ÃàÇßÀ¸¸ç, Áö³ÇØ¿¡´Â »çȸ°úÇÐ, ¹ýÇÐ µî ¿©·¯ Çй® ºÐ¾ß¿ÍÀÇ Çù·Â ¿¬±¸¸¦ ÅëÇØ ±¹³» ÃÊ´ë±Ô¸ð ¾ð¾î¸ðµ¨ÀÇ ½Å·Ú¼º Çâ»óÀ» À§ÇÑ Çѱ¹¾î µ¥ÀÌÅͼÂÀ» °ø°³Çϱ⵵ Çß´Ù.
<±èµ¿±â ±âÀÚ>kdk@bikorea.net < ÀúÀÛ±ÇÀÚ © BI KOREA ¹«´ÜÀüÀç ¹× Àç¹èÆ÷±ÝÁö > |