ÕâÌõ²¼¸æÔÚ¹úÄÚ AI ȦˢÁËÒ»ÕûÖÜ¡£Òµ½çµÚÒ»·´Ó³·Ö³É¼¸ÅÉ¡£×î´óÄÇÅÉ˵ÕâÊÇ"ÓÖÒ»ÂÖ¼ÛÖµÕ½"¡ª¡ªÕâÁ½Äê´ÓÖÇÆ×¡¢DeepSeek¡¢×Ö½Ú¶¹°üµ½°¢ÀïͨÒ壬¹ú²ú´óÄ£ÐÍÂÖ׎µ¼Û£¬Ë²»ÔÚ¾í¡£
ÁíÒ»ÅÉÍùÏû¼«´¦¿´£ºÓ×Ã׸ղ¼¸æ½ñÄêÀûÈóÑüÕ¶£¬Õâʱ³½»¹Íù AI ÉÕ 600 ÒÚ¡¢API Ö±½Ó¿³¾Å³É¡ª¡ªµäÐ͵Ä"¿÷±¾ÇÀÊг¡"¡£»¹ÓÐÈ˸д¥ÕâÊÇ DeepSeek ЧӦ³ÖÐø¡ª¡ªºóÕß°ÑÕû¸öÐÐÒµµÄ¶¨¼Û»ù×¼×§µ½Á˵ذåÉÏ£¬Ë²»¸ú˳ö¾Ö¡£
Ëü²»ÊÇȫģÐͽµ¼Û¡£99% µÄÕÛ¿ÛרÃÅÕë¶ÔÒ»µµ½ÐInput (Cache Hit)µÄ¶¨¼Û¡ª¡ªÒ²¾ÍÊÇ"Óû§ÔÚ³¤¶Ô»°Àï³Á¸´¶Áº¹Çà¸ßµÍÎÄ"ÄDz¿ÃÅ¡£Í¨³£µÄÐÂÊäÈ루No Cache Hit£©½µ·ùÓ׺ö࣬ģÐÍÊä³ö£¨Output£©½µ·ù×îÓס£
ÄãµãÒ»±°ëÌÇÄÃÌú£¬¿§·ÈµêÓÐÁ½ÖÖ×ö·¨£ºÃ¿´ÎÖØÐÂÄ¥¶¹×ÓÁ¿Ìǽ¬µ¹ÄÌ£¬ÔÁÏÈËΪ¶¼¸¶Ò»´Î£»µ«ÊÇÄ£ÐÍ֪·ÕâÖÜÄãÿÌì¶¼ÒªºÈͬÑùµÄ°ëÌÇÄÃÌú£¬Ë÷ÐÔ×öÒ»´óºø´æ½ø±ù¹ñ£¬Ï´ΰ´Ò»±Ò¨Ò»·Ý¡£MiMo Õâ´Î×öµÄÊǺóÕß¡ª¡ª°ÑÓû§³Á¸´¶ÁµÄ²¿ÃÅ´Ó"ÏÖËã"¸Ä³ÉÁË"ÏÖÈ¡"£¬ËùÒÔÕⲿÃŵÄÕæÊµ³É±¾¿¿½ü 0£¬ÌìÈ»Äܸø 99% ÕÛ¿Û¡£
Ä£ÐÍÔÚºÍÄã¶Ô»°Ê±£¬Ã¿¸ö token ¶¼ÒªËãÒ»·Ý"ÖÐÑë״̬"£¬´æÆðÀ´¹©ÏÂÒ»²½Óá£Õâ¸öÆ÷²Ä½ÐKVCache¡ª¡ªÄܹ»Àí½â³ÉÄ£Ð͵Ä"¶ÌÆÚÓ°Ïó±Ê¼Ç±¾"¡£Ã¿ËµÒ»¾ä»°£¬Ä£ÐÍÔڱʼDZ¾ÉϼÇÏÂÕâ¾ä»°µÄÌáÒª£¬Ï´ÎÖ±½Ó·±Ê¼Ç£¬²»ÓÃÖØÐÂÌýÒ»±éÄã˵¹ýµÄËùÓÐÄÚÈÝ¡£
´«Í³Ä£ÐÍÿһ²ã¶¼×ö"Full Attention"¡ª¡ªÒ²¾ÍÊÇÿ¸ö token ¶¼Òª¿´ÆëÈ«¶Î¶Ô»°ËùÓÐ token£¬±Ê¼Ç±¾Ô½·Ô½ºñ¡£MiMo-V2.5-Pro ¸ÄÁ˼ܹ¹£º70 ²ãÀï 60 ²ãÖ»¿´×î½ü 128 ¸ö token£¨SWA£¬Sliding Window Attention£©£¬Ö»ÓÐ 10 ²ã"µµ°¸ÖÎÀíÔ±"¿´È«Êý¡£
ÕâÊǽµ±¾µÄµÚÒ»¿éµØ»ù¡£´ò¸öÆ©Ó÷£¬Õý±¾¹«Ë¾Ã¿¸öÔ±¹¤¶¼±»ÒªÇó¼ÇסËùÓеĻáÒé¼Í¼£¬Á˾ÖÿÓ×ÎÒµÄÄÔ×Ó¶¼²»¹»Óá¢Ð§ÄÜÒ²µÍ¡£Ð»®¶¨°Ñ 60 ¸öÔ±¹¤µÄÄÔÖ°ÊØ½µµ½ 1/7£¬Ö»Áô 10 ¸öµµ°¸ÖÎÀíÔ±¹ÜÈ«Êýº¹Çࡪ¡ª¹«Ë¾ÕûÌåÓ°ÏóÄÜÁ¦Ã»½µÂ䣬µ«Ð§ÄÜÌáÉý 7 ±¶¡£
´«Í³µÄ KVCache ϵͳÊǰ´"×î´ó¿ÉÄÜÓÃÁ¿"¸øËùÓвãͳһ·ÖÅäÏÔ´æµÄ¡£Òâ˼ÊÇ£ºÄÄÅ 60 ²ã SWA Ö»±ØÒªÓ×±¾×Ó£¬ÏµÍ³Ò²°´"µµ°¸ÖÎÀíÔ±µÄ´ó±¾×Ó"¸øËùÓв㶼·ÖÅ䡪¡ªSWA Ê¡ÏÂÀ´µÄ¿Õ¼ä±»°×°×Ô¤ÁôÁË£¬µÅ×Úûʡ¡£
´ò¸öÆ©Ó÷£¬Õý±¾¹«Ë¾¸øÃ¿¸öÔ±¹¤¶¼·¢ÁË"ÄÜ×° 100 ÄêÎļþµÄµµ°¸¹ñ"¡ª¡ªµ« 60 ¸öÔ±¹¤Æäʵֻ±ØÒª"×°Ò»ÖÜÎļþµÄÓ×¹ñ×Ó"£¬ÄÇЩ´ó¹ñ×ÓÀï 99% µÄ¿Õ¼äÊǿյġ£ÐÂ×ö·¨Êǰ´ÏÖʵ±ØÒª·Ö¹ñ×Ó¡£Á˾ÖÕû¸ö°ì¹«ÊÒÄܶà×° 5 ±¶ÒÔÉϵÄͬʽøÀ´¹¤×÷¡ª¡ªÍ¬Ñùһ̨ GPU ÄÜ·þÎñµÄ²¢·¢Óû§Êý·ÁË 5 ±¶¡£
ºÃ¶àÓû§µÄ¶Ô»°ÓÐÒ»Ñù¿ªÍ·¡ª¡ªÍ³Ò»¶Î system prompt¡¢Í³Ò»¶Î´úÂë¿â¡¢Í³Ò»·Ý³¤Îĵµ¡£ÏµÍ³»á°ÑÕâЩËã¹ýµÄÁ˾ִæÆðÀ´£¬ÏÂÒ»´ÎÆ¥ÅäÉϾÍÖ±½Ó¸´Óá£Õâ¸ö»úÔì½Ðǰ׺»º´æ¡£
µ« SWA ģʽϳöÏÖÒ»¸ö¿Ó£ºÁ½ÌõÒªÇó token Ò»Ñù£¬²»µÅ×Ú KV »¹ÔÚ¡£¿ÉÄÜǰ׺Ëã¹ý£¬µ« SWA ´°¿Ú±íµÄ²¿ÃÅÔç¾Í±»²Ã¼õÁË¡£ÈôÊÇϵͳ»¹°´"token Ò»Ñù¾ÍÉäÖÐ"µÄ¾É¹æ¶¨¸øÄ㸴Ó㬻á¶Áµ½ÎÞЧ»ò±»¸²¸ÇµÄÊý¾Ý£¬Ä£ÐͳÉЧ»áÖ±½Ó±À¡£
´ò¸öÆ©Ó÷£¬Í¼Êé¹ÝÓÐ 100 Íò±¾Ê飬ÄãÏë½èÈ«Ì×¹²¼ÆÈý±¾µÄ¡¶ÈýÌå¡·¡£ÔÀ´µÄ¼Ü¹¹»á֪ͨÄã"Õâ±¾ÊéÔÚ"£¬ÄãÅÜ´Óǰ·¢ÏÖÊé¼ÜÉÏֻʣ·âÃæºÍµÚÒ»²¿£¬ºóÃæÁ½²¿¶¼±»½è×ßÁË¡£ÕâÖÖ"αÉäÖÐ"ÈÃÄã°×ÅÜÒ»ÌË»¹Òª³Á½è¡£ÐÂϵͳµÄ¹æ¶¨¸Ä³ÉÖ»³ÐŵÄãÄÜÆëÈ«½èµ½µÄÄDz¿ÃÅ¡ª¡ªÏȸøÄãµÚÒ»±¾£¬¶øºó°ÑºóÃæÁ½±¾ÔÙ¸øÄãµ÷¹ýÀ´¡£
ÌýÆðÀ´Èçͬ¸üÑϸñ¡¢ÉäÖÐÂʻήÂä¡£µ«ÏÖʵÏà·´£ºÓÉÓÚ SWA Èà KVCache Ìå»ýѹµ½ 1/7£¬Í¬Ñù´æ´¢¿Õ¼äÄÜ×°µÄÄÚÈݶàÁ˺ü¸±¶£¬ÕæÊµÉäÖÐÂÊ·´¶ø´ó·ù¶ÈÌáÉý¡£
ÏԴ棨GPU É쵀 HBM Äڴ棩ºÜ¹óÒ²ºÜÓÐÏÞ¡ª¡ªÒ»Ì¨ H100 °Ë¿¨»ú²Å 640GB ÏԴ棬µ« MiMo Òª´æµÄ KVCache ¿ÉÄÜÊǼ¸Ê® TB Á¿¼¶¡£ËùÒÔ±ØÐë·Ö²ã£º×î½üÓõķÅÏԴ棨L1£©£¬ÉÔ΢¾ÉµÄ·Å CPU Äڴ棨L2£©£¬ÀäÊý¾Ý´æµ½É¢²¼Ê½»º´æ£¨L3£©¡£
¸úÄã¹ÜǮһ¸ö·Àí¡£Ç®°üÀïµÄÏÖ½ðÊÇÏԴ桪¡ªËæÓÃËæÈ¡µ«·Å²»Á˼¸¶à¡£ÒøÐп¨Óà¶îÊÇ CPU Äڴ桪¡ªÈ¡Ò»´ÎÒª 30 Ã뵫Äܷźöࡣ¶¨ÆÚ´æ¿îÊÇ L3 É¢²¼Ê½»º´æ¡ª¡ªÈ¡Ò»´ÎÒª 2 ·ÖÖÓµ«±ãÒ˺öࡣ
Ó×Ã×´æ´¢ÍŶӵÄ×ö·¨²»Ò»Ñù¡£ËûÃÇ×ÔÑÐÁËÒ»Ì×½ÐGCacheµÄÉ¢²¼Ê½»º´æ£¬Ö±½Ó²¿ÊðÔÚ GPU »úе×Ô´øµÄ SSD ÉÏ¡ª¡ª¸úѵÁ·¹¤×÷¡¢ÍÆÀí¹¤×÷»ì²¼ÔÚͳһ̨»úеÀï¡£
Õâ¼þʵÄɱÉËÁ¦±È¿´ÉÏÈ¥´ó¡£Í¨ÀýµÄ"AI ¹«Ë¾ËãÁ¦ÕË"À´æ´¢³É±¾ÊÇÒ»¸ö¹Ì¶¨Ö§³öÏ¡ªÄãµÄÄ£ÐÍÔ½´ó¡¢Óû§Ô½¶à£¬´æ´¢Õ˵¥Ô½³¤¡£GCache ÕâÌ××ö·¨°ÑÕâÒ»ÏîÖ±½Ó´òµô¡£½áºÏ SWA µÄÓ×Ìå»ý + ÉäÖÐÂÊ 93-95%£¬KVCache ÔÚ L3 µÄ´æ»î¹¦·ò£¨TTL£©´Ó¼¸·ÖÖÓµ¢¸éµ½¼¸Ó×ʱÉõÖÁ¼¸Ì졪¡ªTTL Ô½³¤£¬º¹Çà context µÄ¿ÉÉäÖд°¿ÚÔ½¿í£¬»º´æÉäÖÐÂÊÔ½¸ß£¬99% ÄǸöÕÛ¿Û¾ÍÔ½Õ¾µÃס¡£
ÈýÊÇTTFT ÓÅ»¯¡£ÔÚÁжӵÈÍÆÀíµÄ¶ÓÁÐÀÓÅÏȵ÷¶ÈÕæÊµÍÆËãÁ¿Ó×µÄÒªÇó£¨Ò²¾ÍÊÇ´óÁ¿ÉäÖлº´æµÄÒªÇ󣩡ª¡ªÔ¤·ÀËüÃDZ»"È«ÐÂÊäÈë"ÄÇÖÖ³ÁÍÆËãÒªÇó×èÈû¡£
ºÃ±È£¬ÔÚͨÀýµÄ»ú³¡µ÷¶ÈÖУ¬ËùÓзÉͳһ¸öÖ÷Õŵصij˿ͼ¯Öе½Í³Ò»¸öºò»úÌü£¬¹²ÏíÐÐÀîÌáÈ¡Á÷³Ì¡ª¡ªÕâÊÇÇ׺͵÷¶È¡£´øµÇ»úÏäµÄºÍ´ø 3 ´óÏäÍÐÔ˵ķÖÁ½Ìõ°²¼ìͨ·×ߣ¬¿ìµÄ²»±»ÂýµÄÍÏ¡ª¡ªÕâÊdz¤¶È·ÖͰ¡£µÇ»úʱÓÅÏÈ·ÅÖ»´øµÇ»úÏäµÄÈË£¬ËûÃǵǻú¿ì£¬È÷ɻúÄÜÔçÌÚ·É¡ª¡ªÕâÊÇ TTFT ÓÅ»¯¡£
Ç°ÃæÎå¼þʶ¼ÔÚÓÅ»¯"¶Á"ÄÇÒ»²à¡ª¡ªÈÃÓû§³Á¸´¶Áº¹Çà context µÄ³É±¾Ñ¹µ½¿¿½ü 0¡£µÚÁù¼þÊÂÊÇÓÅ»¯"д"ÄÇÒ»²à¡ª¡ªÒ²¾ÍÊÇÄ£ÐÍÌìÉúÏÂÒ»¸ö token µÄ¹ý³Ì¡£
´ò¸öÆ©Ó÷£¬´«Í³´ò×ÖÊÇÒ»¸ö×ÖÒ»¸ö×Ö´ò¡ª¡ªÄãÏë´ò"½ñÌìÆøÏó"£¬Òª°´ 4 ´Î¼ü¡£MTP ÏñÓиö×Ô¶¯²¹È«ÔÚ²ÂÄãÏÂÒ»¸ö 1-2 ¸ö×ÖÊÇʲô¡ª¡ªÈôÊÇËü²Â¶ÔÁË£¬Äã¾Í²»ÓÃÔÙ°´ÄÇÁ½´Î¡£
Õâ¼þʵÄÒâ˼ÔÚÓÚ£¬99% ÕÛ¿ÛרÃÅÖ¸Ïò Input (Cache Hit)£¬µ«Ä£ÐÍÏÖʵ·þÎñÓû§Ê±£¬input ºÍ output ÊÇͳһ´ÎÒªÇóÀï²úÉúµÄ¡ª¡ªÈôÊÇ output ûʡ£¬ÕûÌåÒªÇó³É±¾¾ÍֻʡÁËÒ»°ë¡£MTP Èà output ÄÇÒ»°ëÒ²½µÏÂÀ´£¬ÕûÌ×½µ¼ÛµÄÓ¯ÀûÄ£ÐͲŹػ·¡£
SWA ¼Ü¹¹ ¡ú KVCache 1/7 ¡ú Ë«³ØÕæÕý¿ªÊÍÈÝÁ¿ ¡ú ͳһ̨ GPU ÄÜ×° 5+ ±¶²¢·¢ ¡ú ǰ׺»º´æÉäÖÐÂÊ 93-95% ¡ú 95% ÒªÇóÏÕЩ²»ÓÃËã ¡ú GCache Èô洢³É±¾¹éÁã ¡ú µ÷¶È°ÑÉäÖÐÒªÇóÓÅÏȵ÷×ß ¡ú MTP ÈÃÌìÉúҲʡ ¡ú µ¥ÔªÒªÇó GPU ¹¦·ò½µÂäÒ»¸öÊýÁ¿¼¶ ¡ú µ¥Ôª³É±¾½µÂä 95%+ ¡ú ¶¨¼Û½µ 99%£¬Ã«ÀûÂÊÈÔΪÕý¡£
»ØÍ·¿´Òµ½çһ·ͷµÄ¼¸ÖÖ½â¶Á£¬Ã¿ÖÖ¶¼Óв¿õè¾¶Àí¡£ÕâÁ½ÄêÖйú´óÄ£Ð͹«Ë¾Ö®¼äµÄ¼ÛÖµÕ½ÊÇÕæµÄ£»Ó×Ã×ÀûÈóÑüÕ¶»¹ÒªÔÒ AI ÊÇÕæµÄ£»DeepSeek °ÑÐÐÒµ¶¨¼Û×§µ½µØ°åÉÏÒ²ÊÇÕæµÄ¡£
µ«ÂÞ¸£ÀòÕâ´Î¹«¿ª¼¼Êõ²©¿Í²¢ÇÒ¾ßÌåµÄ¼¼Êõϸ½Ú¹«¿ª²ð½â£¬ÎÞÒÉÊǵ«Ô¸»Ø»÷¶ÔÓÚ¼ÛÖµÕ½µÄ˵·¨£¬Èá°¼¼ÊõµÄÎÊÌâ¹é¼¼Êõ¡¢ÓªÏúµÄÎÊÌâ¹éÓªÏú¡£¡±
ËýÔÚ²©¿ÍÖÐд·£¬MiMo-V2.5 ϵÁÐÄ£Ð͵ÄÍÆÀíЧÄܲ¢·ÇÀ´×Ôijһ»·½ÚµÄµ¥µãÍ»ÆÆ£¬¶øÊǶàά¶ÈÐͬÓÅ»¯µÄÁ˾֡£Hybrid SWA Èà prefill Óë decode ͬʱÊÜÒæ£¬µ«Î´¾³ä·ÖÓÅ»¯µÄ KVCache ʵÏÖ·´¶ø»áÔÚ¸÷»·½Ú̧¸ß³É±¾¡£ÝÓÈÆÕâÒ»Ö¸±ê£¬MiMoÍŶÓϵͳÐÔ³Á¹¹ÁË KVCache ÖÎÀí¡¢·Ö¼¶»º´æ¡¢Ç°×º»º´æÊ÷£¬¹¥¿Ë SWA KVCache Ö÷ÌâÎÊÌ⣬ÓÅ»¯Á˵÷¶ÈÕ½Êõ¼° Prefill / Decode Á´Â·£¬²¢¾ÏßÉÏÕæÊµ³¡¾°¼ìÑ飬×îÖÕ½«ÆäÀíÂÛЧÄÜÓÅÊÆÕæÕý¶ÒÏÖµ½³ö²ú»·¾³¡£ÖÁ´Ë£¬Hybrid SWA ²Å²ûÑï³öÔÚ³¤ÎÄÍÆÀíÉϼæ¾ßÇ¿¶Å×ëЧÄܵļܹ¹ÓÅÊÆ¡£ÔÙ×éºÏ MoE ÅäÖúͶàÄ£Ì¬ÍÆÀíµÄ¸÷ÀàÓÅ»¯£¬¼«´óˮƽÌá¸ßÁËÏßÉÏÍÆÀí·þÎñµÄ»úÄÜ¡£
《樱桃视频》观万能鑫的保荐经历,万能鑫曾有6个保荐项目的经历,其中保荐的无锡和烁丰科技股份有限公司撤回上市申请。另外5个保荐项目中,4个为首发项目,1个为可转债持续督导。皇马的维尼修斯,巴西的维尼修斯,判若两人。在皇马,维尼修斯能挑大梁,拿到2次欧冠冠军,3次西甲冠军,本赛季为皇马贡献22球14助。不过在巴西国家队,维尼修斯48次出场只打进9球。如何克服暴脾气,不再易燃易爆,这是维尼修斯需要解决的问题。《樱桃视频》²Ô½ÌÔ±µçÓ°Ãâ·Ñ²¥·ÅµçÓ°´óÈ«°Ù¶ÈÔÆ周五凌晨3点,西班牙队将迎来对阵伊拉克队的友谊赛,目前,两队的首发阵容都已经公布,其中洪-马丁和贝尔纳尔都首发出战。“从朗尼克的话题延伸开来,弗朗切斯科,我还想告诉你另一个情况:马西莫-卡尔韦利实际上已经接替了乔治-富拉尼的角色,特别是在行政文件的签署权力方面。这是我们在这个频道上率先为大家披露过的消息,因为我们是最早解释卡尔韦利在俱乐部官僚程序上迈出这关键一步的人,我们还得看看这是否只是一个过渡性的安排。”
20260605 ? 《樱桃视频》以上三个类别涵盖了当前实际在落地的大部分工作,而它们之间的区分在实践中很有用。但这三个类别并非从根本上彼此割裂。它们共享同一套关于世界如何运作的底层知识:几何、物理、动力学。一个能从任意角度渲染一只杯子的模型,原则上也应该能模拟杯子被推动后会发生什么,并规划一只手去把它拿起来。越来越多最有意思的研究,正在有意地模糊这三者之间的边界。¡¶ÈîÜ·µÄ¿ª·¢ÈÕÖ¾TXT°Ù¶ÈÔÆ×ÊÔ´¡·IT之家 6 月 4 日消息,IDC(国际数据公司)2 日发布的报告称,全球 PC 市场将在 2026 年下半年迎来一段动荡时期,而且短期内没有快速解法。IDC 目前预计,2026 年全球 PC 出货量同比将下降 11.3%。随着时间推移,市场压力还会继续加重,到第四季度,全球 PC 出货量预计将同比下滑 20%。
20260605 ? 《樱桃视频》这正是我们在首段提到的那位球员。素拉差,巴吞联队的40岁前锋,近日被泰国国家队主教练安东尼-赫德森征召入队,顶替因伤退出的伊格叻-讪龙。”ÑÇÖÞ³ßÂëÓëÅ·ÖÞ³ßÂëµÄÇø±ð但可以确定的是,尤文确实对多名马竞球员感兴趣。据上述媒体消息,科克、莫利纳、希门尼斯和亚历山大-索尔洛特都在尤文的名单上。至于马竞队长科克,他今夏合同到期成为自由球员,因此实际上不会成为尤文在尼科-冈萨雷斯交易中可使用的筹码。