½´ÆÛ¸¶ÀÌÅ©·ÎÄÄÇ»ÅÍ(ÀÌÇÏ ½´ÆÛ¸¶ÀÌÅ©·Î)´Â Áö³ 22ÀÏ, »ý¼ºÇü AIÀÇ µµÀÔÀ» °¡¼ÓÈÇϱâ À§ÇÑ ½´ÆÛŬ·¯½ºÅÍ Æ÷Æ®Æú¸®¿À¸¦ ¹ßÇ¥Çß´Ù.
ÃֽŠ¼Ö·ç¼ÇÀº ÇöÀç´Â ¹°·Ð ¹Ì·¡ÀÇ LLM(Large Language Model; ´ëÇü ¾ð¾î ¸ðµ¨) ÀÎÇÁ¶ó¿¡µµ ÀûÇÕÇÑ ÇÙ½É ºôµù ºí·ÏÀ» Á¦°øÇÑ´Ù.
‘½´ÆÛŬ·¯½ºÅÍ ¼Ö·ç¼Ç 3Á¾’Àº ÇöÀç »ý¼ºÇü AI ¿öÅ©·Îµå¿¡ »ç¿ë °¡´ÉÇÏ´Ù.
4U ¼ö³Ã½Ä ³Ã°¢ ½Ã½ºÅÛ ¶Ç´Â 8U °ø³Ã½Ä ³Ã°¢ ½Ã½ºÅÛÀº °·ÂÇÑ LLM ÇнÀ ¼º´ÉÀº ¹°·Ð ´ë±Ô¸ð ¹èÄ¡(Batch)¿Í ´ë¿ë·® LLM Ã߷пëÀ¸·Î Ưº°È÷ Á¦ÀÛ ¹× ¼³°èµÆ´Ù.
¸¶Áö¸·À¸·Î 1U °ø³Ã½Ä ½´ÆÛ¸¶ÀÌÅ©·Î ¿£ºñµð¾Æ MGXTM ½Ã½ºÅÛÀ» °®Ãá ½´ÆÛŬ·¯½ºÅʹ Ŭ¶ó¿ìµå ±Ô¸ð Ã߷п¡ ÃÖÀûȵŠÀÖ´Ù.
Âû½º ¸®¾Ó(Charles Liang) ½´ÆÛ¸¶ÀÌÅ©·Î »çÀå °â CEO´Â “AI ½Ã´ë¿¡ ÄÄÇ»Æà ´ÜÀ§´Â ´Ü¼øÈ÷ ¼¹ö ¼ö°¡ ¾Æ´Ñ Ŭ·¯½ºÅÍ·Î ÃøÁ¤µÈ´Ù. ½´ÆÛ¸¶ÀÌÅ©·Î´Â ±Û·Î¹ú Á¦Á¶·®À» ¿ù 5,000°³ÀÇ ·¢À¸·Î È®ÀåÇØ ±× ¾î´À ¶§º¸´Ù ºü¸£°Ô ¿ÏÀüÇÑ »ý¼ºÇü AI Ŭ·¯½ºÅ͸¦ Á¦°øÇÒ ¼ö ÀÖ´Ù”¸ç “È®Àå °¡´ÉÇÑ Å¬·¯½ºÅÍ ºôµù ºí·Ï¿¡ 64³ëµå Ŭ·¯½ºÅÍ´Â 400Gb/s ¿£ºñµð¾Æ ÄöÅÒ-2 ÀÎÇǴϹêµå ¹× ½ºÆåÆ®·³-X ÀÌ´õ³Ý ³×Æ®¿öÅ·À» °®Ãç 72TBÀÇ HBM3e¹× 512°³ÀÇ ¿£ºñµð¾Æ HGX H200 GPU¸¦ Áö¿øÇÑ´Ù”°í µ¡ºÙ¿´´Ù
ÀÌ¾î “½´ÆÛ¸¶ÀÌÅ©·ÎÀÇ ½´ÆÛŬ·¯½ºÅÍ ¼Ö·ç¼ÇÀº ¿£ºñµð¾Æ AI ¿£ÅÍÇÁ¶óÀÌÁî ¼ÒÇÁÆ®¿þ¾î¿Í °áÇյƴÙ. ±× °á°ú ÃÖ´ë Á¶ ´ÜÀ§ÀÇ ¸Å°³º¯¼ö·Î LLMÀ» ÇнÀÇÏ´Â ±â¾÷ ¹× Ŭ¶ó¿ìµå ÀÎÇÁ¶ó¿¡ ÀÌ»óÀûÀÌ´Ù. »óÈ£ ¿¬°áµÈ GPU, CPU, ¸Þ¸ð¸®, ½ºÅ丮Áö ¹× ³×Æ®¿öÅ·ÀÌ ·¢ ³» ¿©·¯ ³ëµå¿¡ °ÉÃÄ ±¸ÃàµÉ ¶§ ÃֽŠAI¸¦ ±¸ÇöÇÒ ¼ö ÀÖ´Ù. ½´ÆÛ¸¶ÀÌÅ©·ÎÀÇ ½´ÆÛŬ·¯½ºÅÍ ¼Ö·ç¼ÇÀº »ý¼ºÇü AI¿Í LLMÀÌ ºü¸£°Ô ¹ßÀüÇÏ°í ÀÖ´Â ¸¸Å ÇÙ½É ºôµù ºí·ÏÀ¸·Î Á¦°øµÈ´Ù”°í ¼³¸íÇß´Ù.
Ä«¿ìÃ÷ºê »óÇÏ´Ï (Kaustubh Sanghan) ¿£ºñµð¾Æ GPU Á¦Ç° ºÎ¹® ºÎ»çÀåÀº “¿£ºñµð¾ÆÀÇ ÃֽŠGPU, CPU, ³×Æ®¿öÅ· ¹× ¼ÒÇÁÆ®¿þ¾î ±â¼úÀº ½Ã½ºÅÛ Á¦Á¶»ç°¡ ±Û·Î¹ú ½ÃÀåÀ» À§ÇÑ ´Ù¾çÇÑ Â÷¼¼´ë AI ¿öÅ©·Îµå¸¦ °¡¼ÓÈÇÒ ¼ö ÀÖµµ·Ï Áö¿øÇÑ´Ù”¸ç “½´ÆÛ¸¶ÀÌÅ©·Î´Â ºí·¢À£ ¾ÆÅ°ÅØó ±â¹Ý Á¦Ç°¿¡ ¿£ºñµð¾Æ °¡¼Ó ÄÄÇ»Æà Ç÷§ÆûÀ» È°¿ëÇØ µ¥ÀÌÅͼ¾ÅÍ¿¡ ½±°Ô ±¸Ãà °¡´ÉÇÑ ÃÖ÷´Ü ¼¹ö ½Ã½ºÅÛÀ» Á¦°øÇÏ°í ÀÖ´Ù”°í ¸»Çß´Ù.
|
|
|
¡ã (Ãâó : ½´ÆÛ¸¶ÀÌÅ©·ÎÄÄÇ»ÅÍ Á¦°ø) |
½´ÆÛ¸¶ÀÌÅ©·Î 4U ¿£ºñµð¾Æ HGX H100/H200 8-GPU ½Ã½ºÅÛÀº ¼ö³Ã½Ä ³Ã°¢À» »ç¿ëÇØ 8U °ø·©½Ä ½Ã½ºÅÛÀÇ ¹Ðµµ¸¦ µÎ ¹è·Î ³ôÀÌ°í ¿¡³ÊÁö ¼Òºñ·®°ú µ¥ÀÌÅͼ¾ÅÍ TCO¸¦ ³·Ãá´Ù.
¶ÇÇÑ Â÷¼¼´ë ¿£ºñµð¾Æ ºí·¢À£ ¾ÆÅ°ÅØó ±â¹ÝÀÇ GPU¸¦ Áö¿øÇϵµ·Ï ¼³°èµÆ´Ù.
½´ÆÛ¸¶ÀÌÅ©·Î ³Ã°¢ ºÐ¹è ÀåÄ¡(CDU)¿Í ¸Å´ÏÆúµå(CDM)´Â ³Ã°¢µÈ ¾×ü¸¦ ½´ÆÛ¸¶ÀÌÅ©·ÎÀÇ ¸ÂÃãÇü D2C(Direct-to-Chip) Äݵå Ç÷¹ÀÌÆ®¿¡ ºÐ¹èÇϱâ À§ÇÑ ÇÙ½É ºÎÇ°À¸·Î, GPU¿Í CPU¸¦ ÃÖÀûÀÇ ¿Âµµ·Î À¯ÁöÇÏ°í, ¼º´ÉÀ» ±Ø´ëÈÇÑ´Ù.
ÀÌ°°Àº ³Ã°¢ ¹æ½ÄÀº µ¥ÀÌÅͼ¾ÅÍÀÇ ÃÑ Àü±â ºñ¿ëÀ» ÃÖ´ë 40% Àý°¨ÇÏ°í ¹°¸®Àû °ø°£µµ Àý¾àÇÒ ¼ö ÀÖ´Ù.
‘¿£ºñµð¾Æ HGX H100/H200 8-GPU’¸¦ žÀçÇÑ ½Ã½ºÅÛÀº »ý¼ºÇü Al ÇнÀ¿¡ ÀÌ»óÀûÀÌ´Ù. ¿£ºñµð¾Æ NV¸µÅ© ·Î »óÈ£ ¿¬°áµÈ °í¼Ó GPU¿Í ´õºÒ¾î ³ÐÀº GPU ¸Þ¸ð¸® ´ë¿ªÆø ¹× ¿ë·®Àº LLM ¸ðµ¨ÀÇ ºñ¿ë È¿À²ÀûÀÎ ±¸µ¿¿¡ ÇÙ½ÉÀûÀÎ ¿ªÇÒÀ» ÇÑ´Ù.
½´ÆÛ¸¶ÀÌÅ©·ÎÀÇ ½´ÆÛŬ·¯½ºÅÍ´Â ÇϳªÀÇ AI ½´ÆÛÄÄÇ»ÅÍó·³ ÀÛµ¿ÇÏ´Â ´ë±Ô¸ð GPU ¸®¼Ò½º Ç®À» »ý¼ºÇÑ´Ù.
Á¶ ´ÜÀ§ÀÇ ÅäÅ«À¸·Î ±¸¼ºµÈ µ¥ÀÌÅÍ ¼¼Æ®·Î ÇнÀµÈ ´ë±Ô¸ð ±âÃÊ ¸ðµ¨À» óÀ½ºÎÅÍ ±¸ÃàÇϰųª Ŭ¶ó¿ìµå ±Ô¸ðÀÇ LLM Ãß·Ð ÀÎÇÁ¶ó¸¦ ±¸ÃàÇÒ ¶§, ºñÂ÷´Ü 400Gb/s Æк긯À» °®Ãá ½ºÆÄÀÎ ¹× ¸®ÇÁ ³×Æ®¿öÅ© ÅäÆú·ÎÁö¸¦ »ç¿ëÇÑ´Ù¸é 32°³ ³ëµå¿¡¼ ¼öõ °³ÀÇ ³ëµå±îÁö ¿øÈ°ÇÏ°Ô È®ÀåÇÒ ¼ö ÀÖ´Ù.
½´ÆÛ¸¶ÀÌÅ©·Î´Â ¼ö³Ã½Ä ³Ã°¢À» È°¿ëÇÏ´Â Å×½ºÆ®¸¦ ÅëÇØ ¹èÆ÷ Àü¿¡ ¿î¿µ È¿À²¼º°ú È¿°ú¸¦ öÀúÇÏ°Ô °ËÁõÇÑ´Ù.
½´ÆÛ¸¶ÀÌÅ©·ÎÀÇ ‘¿£ºñµð¾Æ MGX ½Ã½ºÅÛ’ ¼³°è´Â ‘¿£ºñµð¾Æ GH200 ±×·¹À̽º È£ÆÛ ½´ÆÛĨ’À» ÅëÇØ »ý¼ºÇü AIÀÇ ÁÖ¿ä º´¸ñ Çö»óÀ» ÇØ°áÇÏ´Â ¹Ì·¡Çü AI Ŭ·¯½ºÅÍ¿¡ ´ëÇÑ Ã»»çÁøÀ» Á¦½ÃÇÒ °ÍÀÌ´Ù.
À̶§ º´¸ñ Çö»óÀº ¿î¿µºñ¿ëÀ» Àý°¨Çϱâ À§ÇØ °í¼º´É Ãß·Ð ¹èÄ¡ ±Ô¸ð·Î LLMÀ» ½ÇÇàÇÏ´Â GPU ¸Þ¸ð¸® ´ë¿ªÆø°ú ¿ë·®À» ÀǹÌÇÑ´Ù.
256³ëµå Ŭ·¯½ºÅÍ´Â ½±°Ô ±¸Ãà ¹× È®ÀåÀÌ °¡´ÉÇÑ Å¬¶ó¿ìµå ±Ô¸ðÀÇ ´ë±Ô¸ð Ãß·Ð ¼º´ÉÀ» Áö¿øÇÑ´Ù.
- ½´ÆÛ¸¶ÀÌÅ©·Î »ý¼ºÇüAI ½´ÆÛŬ·¯½ºÅÍ ¼Ö·ç¼Ç Æ÷Æ®Æú¸®¿À - |
·¢ 5°³¿¡ 4U ¼ö³Ã½Ä ³Ã°¢ ½Ã½ºÅÛ ¶Ç´Â ·¢ 9°³¿¡ 8U °ø·©½Ä ½Ã½ºÅÛÀ» °®Ãá ½´ÆÛŬ·¯½ºÅÍ |
• È®Àå °¡´ÉÇÑ À¯´Ö Çϳª¿¡ ¿£ºñµð¾Æ H100/H200 ÅÙ¼ ÄÚ¾î GPU 256°³ žÀç
• ¼ö³Ã½Ä ³Ã°¢ÀÇ °æ¿ì °ø³Ã½Ä 256 GPU ¹× 32³ëµå ¼Ö·ç¼Ç°ú µ¿ÀÏÇÑ ¼³Ä¡ ¸éÀû¿¡¼ 512 GPU, 64³ëµå¸¦ Áö¿ø
• È®Àå °¡´ÉÇÑ À¯´Ö Çϳª¿¡ ¿£ºñµð¾Æ H100ÀÌ Æ÷ÇÔµÈ 20TB HBM3 ¶Ç´Â ¿£ºñµð¾Æ H200ÀÌ Æ÷ÇÔµÈ 36TB HBM3e žÀç
• 1:1 ³×Æ®¿öÅ·À¸·Î °¢ GPU¿¡ ÃÖ´ë 400Gbps¸¦ Á¦°øÇϸç, ÃÖ´ë Á¶ ´ÜÀ§ÀÇ ¸Å°³º¯¼ö·Î LLMÀ» ÇнÀ½ÃÅ°±â À§ÇÑ GPU ´ÙÀÌ·ºÆ® RDMA ¹× ½ºÅ丮Áö È°¼ºÈ
• ¿£ºñµð¾Æ ÄöÅÒ-2 ÀÎÇǴϹêµå, ¿£ºñµð¾Æ ½ºÆåÆ®·´-X ÀÌ´õ³Ý Ç÷§Æû µî È®À强ÀÌ ¶Ù¾î³ ½ºÆÄÀÎ-¸®ÇÁ ³×Æ®¿öÅ© ÅäÆú·ÎÁö¸¦ °®Ãá 400G ÀÎÇǴϹêµå ¶Ç´Â 400GbE ÀÌ´õ³Ý ½ºÀ§Ä¡ Æк긯
• ¾÷°è ÃÖ°íÀÇ º´·Ä ÆÄÀÏ ½Ã½ºÅÛ ¿É¼ÇÀ» °®Ãá ¸ÂÃãÇü AI µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ ½ºÅ丮Áö Æк긯
• ¿£ºñµð¾Æ AI Enterprise 5.0 ¼ÒÇÁÆ®¿þ¾î·Î ´ë±Ô¸ð AI ¸ðµ¨ ±¸ÃàÀ» °¡¼ÓÈÇÏ´Â »õ·Î¿î ¿£ºñµð¾Æ NIM Ãß·Ð ¸¶ÀÌÅ©·Î¼ºñ½º¸¦ Áö¿ø
|
·¢ 9°³¿¡ 1U °ø³Ã½Ä½Ä ³Ã°¢ ¿£ºñµð¾Æ MGX ½Ã½ºÅÛÀ» °®Ãá ½´ÆÛŬ·¯½ºÅÍ |
• È®Àå °¡´ÉÇÑ À¯´Ö Çϳª¿¡ 256°³ÀÇ GH200 ±×·¹À̽º È£ÆÛ ½´ÆÛĨ ÀåÂø
• Ŭ¶ó¿ìµå ±Ô¸ð, ´ë¿ë·®, ªÀº Áö¿¬ ½Ã°£ ¹× ´ë±Ô¸ð ¹èÄ¡ Ã߷п¡ ÀûÇÕÇÑ ÃÖ´ë 144GBÀÇ HBM3e + 480GBÀÇ LPDDR5X ÅëÇÕ ¸Þ¸ð¸®·Î, ÇϳªÀÇ ³ëµå¿¡ 70B+ ¸Å°³º¯¼ö ¸ðµ¨ ¼ö¿ë
• È®À强ÀÌ ¶Ù¾î³ ½ºÆÄÀÎ-¸®ÇÁ ³×Æ®¿öÅ© ÅäÆú·ÎÁö¸¦ °®Ãá 400G ÀÎÇǴϹêµå ¶Ç´Â 400GbE ÀÌ´õ³Ý ½ºÀ§Ä¡ Æк긯
• ³ëµå´ç ÃÖ´ë 8°³ÀÇ ³»Àå E1.S NVMe ½ºÅ丮Áö ÀåÄ¡ Á¦°ø
• ¿£ºñµð¾Æ ºí·çÇʵå-3 DPU¿Í ¾÷°è ÃÖ°íÀÇ º´·Ä ÆÄÀÏ ½Ã½ºÅÛ ¿É¼ÇÀ» °®Ãá ¸ÂÃãÇü AI µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ ½ºÅ丮Áö Æк긯À¸·Î °¢ GPU¿¡ ¸¹Àº 󸮷®°ú ªÀº Áö¿¬ ½Ã°£ÀÇ ½ºÅ丮Áö ¾×¼¼½º Á¦°ø
• ¿£ºñµð¾Æ AI ¿£ÅÍÇÁ¶óÀÌÁî 5.0 ¼ÒÇÁÆ®¿þ¾î
|
½´ÆÛ¸¶ÀÌÅ©·ÎÀÇ ½´ÆÛŬ·¯½ºÅÍ ¼Ö·ç¼ÇÀº GPU-GPU ¿¬°áÀ» À§ÇØ ´Þ¼ºÇÒ ¼ö ÀÖ´Â ³×Æ®¿öÅ© ¼º´ÉÀ» °®ÃèÀ¸¸ç, LLM ÈÆ·Ã, µö ·¯´× ±×¸®°í ´ë¿ë·® ¹× ´ë±Ô¸ð ¹èÄ¡ Ã߷п¡ ÃÖÀûȵƴÙ.
ÇöÀå ¹èÆ÷ ¼ºñ½º¿Í °áÇÕµÈ ½´ÆÛ¸¶ÀÌÅ©·ÎÀÇ L11 ¹× L12 °ËÁõ Å×½ºÆ®´Â °í°´¿¡°Ô ¸Å²ô·¯¿î »ç¿ë °æÇèÀ» Á¦°øÇÑ´Ù.
±â¾÷Àº Ç÷¯±× ¾Ø Ç÷¹ÀÌ È®ÀåÇü À¯´ÖÀ» ÅëÇØ µ¥ÀÌÅͼ¾ÅÍ¿¡ ½±°Ô ±¸ÃàÇÏ°í ´õ ºü¸£°Ô °á°ú¸¦ ¾òÀ» ¼ö ÀÖ´Ù.
<±èµ¿±â ±âÀÚ>kdk@bikorea.net < ÀúÀÛ±ÇÀÚ © BI KOREA ¹«´ÜÀüÀç ¹× Àç¹èÆ÷±ÝÁö > |