ÔÚ½« MoE ºÍ Lightning Attention£¨ÉÁµç°ÑÎÈÁ¦£©µÄ¼¤½ø¼Ü¹¹Ë¢ÐÂÒýÈë»ù´¡Ä£Ð͵ײ㣬ת»¯ÎªÈ«Ð嵀 MiniMax-01 ϵÁÐÄ£Ð굀 5 ¸öÔº󣬴óÄ£Ð͹«Ë¾ MiniMax ÖÕÓÚ¸ü½øÒ»²½£¬Åõ³öÁËÔÍÄðÐí¾ÃµÄ×ÔÑÐÎı¾ÍÆÀíÄ£ÐÍ MiniMax-M1£¬ÕâÒ²ÊÇÈ«ÇòÊ׸ö¿ªÔ´¡¢´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄÍÆÀíÄ£ÐÍ¡£
ÍÆÀíÄ£ÐÍÒѳÉΪеĴóÄ£Ðͼ¼Êõº£³±£¬ÄóöÒ»¿îÇ¿¾¢µÄ×ÔÑÐÍÆÀíÄ£ÐÍ£¬Êǽü°ëÄêÀï¹úÄÚµÚÒ»±¤ÀݵĴóÄ£Ð͹«Ë¾Î¬³Ö×Ô¼º¼¼ÊõÉíλ×îÖ±½ÓµÄÖ¸±ê¡£
×÷ÎªÍÆÀíÄ£ÐÍ£¬MiniMax-M1ÔÚ³¤¸ßµÍÎÄÀí½âÄÜÁ¦ÉÏ£¬ÊÇĿǰÔ̺¬ËùÓйØÔ´ºÍ¿ªÔ´Ä£ÐÍÔÚÄÚ£¬ÄÜÁ¦È«Çòǰ¶þµÄÄ£ÐÍ£¬ÇÒÔÚѵÁ·ºÍÍÆÀí³É±¾Éϼ«¸ßµÄÐԼ۱ȡ£
M1 ÒÀȻһÁ¬×Å MoE ¼Ü¹¹£¬¶øÔÚ°ÑÎÈÁ¦»úÔìÉϺÍÇ¿»¯½ø½¨Ëã·¨ÉϵĴ´ÐÂÈà M1 ÏÊÃ÷µÄÇø±ðÓÚÆäËûÍÆÀíÄ£ÐÍ¡£Ä£ÐÍ×ܲÎÊý´ïµ½ 4560 ÒÚ²ÎÊý£¬ÔÉúÖ§³Ö 100 Íò token µÄ¸ßµÍÎij¤¶ÈÊäÈ룬ÒÔ¼°Ä¿Ç°ËùÓÐÄ£ÐÍÖÐ×µÄ 80k token µÄÊä³ö³¤¶È¡£
³ýÁËÔÚ³¤¸ßµÍÎÄÄÜÁ¦ÉϵÄÇ¿ÊÆ£¬M1 Ëùչʾ³öµÄÔÚÖÇÄÜÌ幤¾ßʹÓã¨Agentic Tool Use£©Î¬¶ÈÉϵÄÄÜÁ¦ÉÏÏÞÉõÖÁÔ½·¢ÈÃÈ˵ȴý¡£´ÓÆÀ²â»ù×¼ TAU-Bench (airline) ÖеIJû·¢À´¿´£¬Ä¿Ç° M1 ÒѾÊÇÊÐÃæÉÏÔÚ Agentic Tool Use ·½ÃæÄÜÁ¦×îÇ¿µÄÄ£ÐÍ¡£
¼¼Êõ»ã±¨ÖжÔÓÚ M1 µÄ¸ÅÊöÊÇ£¬Õâ¸öеĿªÔ´Ä£ÐÍÒÑÊÇÓë DeepSeek-R1¡¢Qwen3-235B ²¢ÁеÄÊÀ½ç¶¥¼â¿ªÔ´ÍÆÀíÄ£ÐÍ£¬ÕâÒ»½áÂÛÊÇÔڲμÓÁËÒµÄÚÖ÷Á÷µÄ 17 ¸öÆÀ²â»ù×¼Ö®ºóµÃ³öµÄ¡£ÔÚ´¦Öø´ÔÓ³¡¾°Ê±³¤¸ßµÍÎÄ¡¢ÖÇÄÜÌ幤¾ßʹÓÃÄÜÁ¦Éϵij¤°å×ã¹»ÁÁÑÛ£¬M1 ÔÚ¸üͨÓõÄÄ£ÐÍ»úÄÜÉÏÒ²ÒѾ¿çÈë¶¥¼âÐÐÁС£
´Ë±í±ØÒª×¨ÃÅ×¢Ã÷µÄÊÇ£¬M1 ϵÁÐÄ£ÐÍÖеÄÁ½¸öÄ£ÐÍÖУ¬MiniMax-M1-40K Ä£ÐÍÊÇ MiniMax-M1-80K Ä£ÐÍÔÚѵÁ·Ê±µÄÖÐÑë½×¶Î¡£¶øÔÚ²âÆÀ»ù×¼Ëù³öÏÖµÄ×ÜÌå²û·¢ÖУ¬MiniMax-M1-80k ÔÚÎÞÊý»ù×¼ÉϳÖÐøÓÅÓÚ MiniMax-M1-40k£¬ÕâÒ²ÑéÖ¤Á˸ߵÍÎÄ´°¿Ú³¤¶È´øÀ´ÁËÄ£ÐÍÕûÌå»úÄܵÄÏÔÖøÌáÉý£¬¶ø·Ç½ö½öÒâζ×ÅÖ§³Ö¸ü³¤µÄÊäÈë¡£
Ôڵײã¼Ü¹¹²ãÃæ£¬M1 ÊÇĿǰΨÖðÒ»¸öÓÃÏßÐÔ°ÑÎÈÁ¦»úÔ졸´ó¸Ä¡¹´«Í³ Transformer ¼Ü¹¹£¬´Ó¶ø´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄ MoE ÍÆÀíÄ£ÐÍ£»ÔÚËã·¨²ãÃæ£¬M1 Ìá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO¡£¸ü³¹µ×µÄË«Ïß´´ÐÂÌá¸ßÁË M1 µÄѵÁ·Ð§ÄÜ£¬¶øÑµÁ·³É±¾µÄ½µÂäÒ²·Ç³£¿É¹Û¡£
Ϊ½â·Å Transformer ¼Ü¹¹ÖÐÖ÷ÌâÈ·°ÑÎÈÁ¦»úÔì Softmax Attention ÔÚÍÆËã×ÊÔ´¿÷Ëð·½ÃæµÄ¾ÖÏÞÐÔ£¬M1 ϵÁÐÄ£ÐÍÔÚ°ÑÎÈÁ¦»úÔìµÄ¼Ü¹¹Éè¼Æ·½ÃæÏà±È´«Í³¼Ü¹¹µÄÍÆÀí×öÁ˸ü¶·µ¨µÄ³¢ÊÔ¡ª¡ªÑ¡È¡»ìºÏ°ÑÎÈÁ¦»úÔì Lightning Attention¡ª¡ªÀ´°ü°ì³ß¶È Transformer ÖÐʹÓõĴ«Í³ Softmax Attention¡£
¹ÖÒìÈ·°ÑÎÈÁ¦²ãÉè¼ÆÈà M1 ÔÚÍÆÀíʱӵÓÐÏÔÖøÐ§ÄÜÓÅÊÆ£¬ÌìÈ»ÓÐÀûÓÚÇ¿»¯½ø½¨µÄ¸ßЧÀ©´ó£¬µ«×ßµ½»ìºÏ¼Ü¹¹´ó¹æÄ£Ç¿»¯½ø½¨µÄÎÞÈËÇø£¬MiniMax ÏÔȻҲ»áÓöµ½Ð¼ܹ¹´øÀ´µÄÌôÕ½¡£
ºÃ±ÈÔÚ»ìºÏ¼Ü¹¹µÄ³õ²½ÁãÇ¿»¯½ø½¨£¨zero-RL£©³¢ÊÔÖУ¬ÍŶӷ¢ÏÖ´«Í³µÄ PPO/GRPO Ëã·¨»áÐıíµÄÑϳÁÇÖº¦ÑµÁ·»úÄÜ¡£¾ßÌåÀ´Ëµ£¬Ó뷴˼ÐÐΪÓйصĹؼü token¡ª¡ªÀýÈ簵ʾתÕÛµÄ however¡¢wait¡ª¡ªÕâЩµÍ¸ÅÂÊ token ¶Ô²»±äìØºÍÍÆ½ø¿ÉÀ©´ó RL ÖÁ¹Ø³ÁÒª£¬µ«È´ÈÝÒ×ÔÚÕ½Êõ¸üÐÂʱ±»²Ã¼ô£¬ÄÑÒÔ±£ÕÏÕâЩ token µÄÌݶȹ±Ï×£¬µ¼ÖÂÄÑÒÔÍÆ½ø³¤ CoT ÍÆÀíÐÐΪ¡£´ËÎÊÌâÔÚ»ìºÏ¼Ü¹¹Ä£ÐÍÖÐÓÈΪ͹Æð£¬¹ÊÕÏÁËÇ¿»¯½ø½¨µÄ¹æÄ£À©´ó¡£
Ϊ´Ë£¬M1 ÔÚËã·¨²ãÃæÌá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO£¬ÒâÔÚÃ÷È·Ô¤·ÀÅׯúÈκΠtoken£¨¼´±ã¸üзù¶È´ó£©£¬Í¬Ê±½«ìØÎ¬³ÖÔÚºÏÀíÁìÓòÒÔÈ·±£²»±äË÷Çó¡£
ÔÚ zero-RL ÉèÖÃÏ£¬MiniMax ÍŶÓÔÚÊýÑ§ÍÆÀíÊý¾Ý¼¯ÉÏѵÁ· Qwen2.5-32B-base£¬¶Ô±È CISPO¡¢ ×Ö½ÚÌø¶¯Ìá³öµÄ DAPO ÒÔ¼° DeepSeek Ìá³öµÄ GRPO Ëã·¨ÔÚ AIME 2024 ÉϵIJû·¢¡£Ò»Ñù²½ÊýÏ CISPO ÏÔÖøÓÅÓÚ DAPO ºÍ GRPO£»ÆäѵÁ·Ð§Äܸü¸ß£¬½öÐè DAPO 50% µÄ²½Êý¼´¿É´ïµ½Ò»Ö»úÄÜ¡£
µ×²ã¼Ü¹¹É϶ÔÓÚÏßÐÔ°ÑÎÈÁ¦»úÔìµÄÒýÈ룬ÒÔ¼°Ëã·¨²ãÝÓÈÆ CISPO ËùÐγɵĸßЧ RL ¿ò¼Ü£¬×îÖÕÈà M1 µÄÇ¿»¯½ø½¨ÑµÁ·±äµÃ¼«¶È¸ßЧ£¬½ø¶ø»ñµÃÁËѵÁ·³É±¾µÄ´ó·ù½µÂä¡£
ÓëÄ£ÐÍÒ»Æð°ä²¼µÄ¼¼Êõ»ã±¨ÖÐÏÔʾ£¬ÔÚÌìÉú³¤¶ÈΪ 10 Íò Token ʱ£¬M1 µÄÍÆËãÁ¿½öΪ Deepseek R1 µÄ 25%£¬¶øÕû¸ö M1 µÄÆëȫǿ»¯½ø½¨ÑµÁ·ÄÜÔÚ 512 ÕÅ H800 GPU ÉϽöÓà 3 ÖÜʵÏÖ£¬ÒÔĿǰµÄ GPU ×âÁÞ¼ÛÖµÍÆË㣬³É±¾½öΪ 53.47 ÍòÃÀÔª¡£
Prompt ÊÇÕâÑùµÄ£º ´´½¨Ò»¸öÃÔ¹¬ÌìÉúÆ÷ºÍѰ·¿ÉÊÓ»¯¹¤¾ß¡£Ëæ»úÌìÉúÒ»¸öÃÔ¹¬£¬²¢Ö𲽿ÉÊÓ»¯ A* Ëã·¨µÄÇó½â¹ý³Ì¡£Ê¹Óû²¼ºÍ¶¯»£¬Ê¹ÆäÓµÓÐÊÓ¾õÎüÒýÁ¦¡£
demo ÀïÄܹ»Ç峺¿´µ½£¬M1 ÔÚÌìÉúµÄÍøÒ³ÖÐ˼·Ç峺µÄÉèÖÃÁË´ú±í´ò×ÖËÙ¶ÈµÄ WPM£¨words per minute£©ºÍÕýÈ·¶ÈµÄ Accuracy Á½¸öÖ¸±ê£¬²¢ÇÒ¹ØÐĵÄÈÃÉÏ·½ÎÄ×ÖËæ×ÅÄãµÄÊäÈë¹ý³Ì¶øÍ¬²½±äÉ«¡£
ÕâЩ demo ¶¼ÔÚÖ¸ÏòһЩͨÓà agent ÖвúÆ·»¯ feature µÄ¿ÉÄÜÐÔ¡£³¤¸ßµÍÎÄÀí½â¡¢ÖÇÄÜÌåÕâЩÔÚÄ£ÐÍÄÜÁ¦²úÆ·»¯¹ý³ÌÖеÄÖ÷ÌâÄÜÁ¦£¬¸ÕºÃÊÇ M1 Ä£Ð͵ÄÇ¿ÊÆµØµã¡£ÕâÇÐºÏ MiniMax ×îÔçÒÔ²úÆ·ÆðÊÆµÄ·Ïߣ¬¶øÕâ¼Ò¹«Ë¾×î½üÔÚ»ù´¡Ä£ÐͲãÃæ³ÖÐøµÄ¼¤½øË÷Çó£¬Ò²ÒÔ M1 µÄ³öÏÖΪ½Úµã£¬ÔÚµ±Ï´óÄ£Ð͹«Ë¾ÃǼ¼ÊõÍ»ÆÆÆÕ±é½µËÙµÄʱ³½ÏÔʾ³öºó¾¢¡£
M1 µÄ³öÏÖ£¬±³ºóÊÇÒ»Ìõ MiniMax ´Ó´«Í³µÄŨÃÜÄ£ÐÍÓë Transformer ¼Ü¹¹£¬×ªÏò MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄ²ÝÉß»ÒÏß¡£ÔÚ MiniMax ¾ö¶¨ÒýÈë MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄʱ³½£¬ÔÚÆäʱÏÕЩ¶¼Ã»ÓÐʲôÄܹ»²Î¿¼µÄ¶ÔÏó¡£
Mistral AI ÔÚ 2023 Äêµ×ÓÿªÔ´µÄÄ£ÐÍ Mistral 8??7B սʤÁËÆäʱ×îÓÅÁ¼µÄ¿ªÔ´Ä£ÐÍÖ®Ò»£¬700 ÒÚ²ÎÊýµÄ Llama 2¡£2023 ÄêÏÄÌ죬MiniMax ÒѾÔڳﱸ´ÓŨÃÜÄ£ÐÍתÏò MoE£¬Í¶ÈëÁËÆäʱ¹«Ë¾ 80% µÄËãÁ¦ÓëÑз¢×ÊÔ´£¬ÔÚ Mistral 8??7B °ä²¼µÄÒ»¸öÔºó£¬ÉÏÏßÁ˹úÄÚÊ׸ö MoE ´óÄ£ÐÍ abab 6£¬²¢ÇÒÓÉÓÚÕâÊǸö¹ýÓÚеļܹ¹£¬MiniMax Ϊ MoE ×ÔÑиüÊÊÅäµÄѵÁ·ºÍÍÆÀí¿ò¼Ü¡£
MiniMax ÆðͷͶÈë Linear Attention ÊÇ´Ó 2024 Äê 4 ÔÂÆðÍ·µÄ£¬ÄÇʱÉÐûÓÐÄ£ÐÍÔÚǧÒÚ¼¶´ËÍâ²ÎÊý¹æÄ£²ãÃæÌôÕ½´«Í³µÄ Transformer ¼Ü¹¹¡£ÕâʹµÃ MiniMax ±ØÒª¶ÔÉ¢²¼Ê½ÑµÁ·ºÍÍÆÀí¿ò¼Ü½øÐг¹µ×µÄ³ÁÐÂÉè¼ÆÀ´ÊÊÅ䣬ʹµÃÄ£ÐÍ¿ÉÄÜÔÚ´ó¹æÄ£ GPU ¼¯ÈºÉϸßЧÔËÐУ¬Õâ²ÅÓÐÁ˽ñÄê 1 Ô嵀 MiniMax-Text-01£¬ÕâÒ²ÊǵÚÒ»¸öÒÀÀµÏßÐÔ°ÑÎÈÁ¦»úÔì´ó¹æÄ£²¿ÊðµÄÄ£ÐÍ¡£
Äܹ»Ëµ£¬MiniMax-Text-01 ÊÇ MiniMax ÔÚÏßÐÔ°ÑÎÈÁ¦Õâ¼þÊÂÉÏ£¬ÎªÕû¸öÐÐÒµ´ÓÓ×¹æÄ£¿ÉÐеĹ²Ê¶£¬µ½ Scale up µÄ¿ÉÐÐ×öÁËÒ»´ÎÑéÖ¤¡£¶øÍÆÀíÄ£ÐÍ M1£¬ÐÔÖÊÉÏÓÖÊÇÒ»´Î»ùÓÚ MiniMax-Text-01 µÄ scale up ºÍ¼Ü¹¹´´Ð¡£
ÍŶÓÒÔ MiniMax-Text-01 Ϊ»ù×ù£¬Ö´ÐÐ 7.5 ÍòÒÚ token µÄ¶¨Ïò¼ÓǿԤѵÁ·£¬½« STEM£¨¿ÆÑ§/¼¼Êõ/¹¤³Ì/Êýѧ£©¡¢±à³Ì´úÂëÓ븴ÔÓÍÆÀíÈýÀàÖ÷ÌâÁìÓòµÄÊý¾ÝȨ³ÁÌáÉýÖÁ×ÜÓïÁÏ 70%¡£Ëæºóͨ¹ý¼à¶½Î¢µ÷½×¶Î×¢ÈëÁ´Ê½Ë¼ÂÇ£¨CoT£©»úÔ죬ϵͳÐÔ¹¹½¨Ä£Ð͵ķֲ½ÍÆÀíÄÜÁ¦£¬ÎªÇ¿»¯½ø½¨µì¶¨ÄÜÁ¦»ù´¡¡£
×îÖÕÕâÖÖ¼¤½øÊ½µÄ´´Ðµõ½ÁË»ý¼«µÄÑéÖ¤£¬M1 ÊÇĿǰȫÇò×îÏȵ½´ï 80k ¸ßµÍÎÄÊä³öµÄÍÆÀíÄ£ÐÍ£¬Í¬Ê±ÔÚ³¤¸ßµÍÎÄ£¬Èí¼þ¹¤³ÌºÍ Agent ¹¤¾ßʹÓ÷½ÃæÌåÏÖ³öÁËÓÅÊÆ¡£
´ËǰÐÇÒ°ºÍ Talkie ÔÚóÒ×»¯ÉϵÄÓÅÒì²û·¢£¬Èà MiniMax ÔçÔç³ÉΪһ¼ÒÄܹ»×Ô¼º¶ÀÁ¢ÐÐ×ߵĴóÄ£Ð͹«Ë¾£¬Ò²Èñí½ç¸³ÓèÁËÕâ¼Ò¹«Ë¾Ò»¸ö¡¸²úÆ·Çý¶¯¡¹ÕâÑù¹ýÓÚ³éÏóµÄ±êÇ©¡£Õâ¿Ï¶¨Ë®Æ½ÉϺöÊÓÁË MiniMax ÔÚÄ£ÐͲãÃæÉÏÏ൱ǿº·µÄÑз¢ÄÜÁ¦¡£
ÖµÍ×ÌùÐĵÄÊÇ£¬MiniMax µÄ¹Ù·½²¼¸æÐ¹Â©£¬M1 ϵÁÐÄ£ÐÍͬʱҲÀ¿ªÁËΪÆÚÎåÌìµÄ MiniMaxWeek µÄÐòÄ»£¬Î´À´ÎåÌ죬MiniMax »áÝÓÈÆÎı¾¡¢ÓïÒôºÍÊÓ¾õµÈ¶àģ̬ģÐͶԱí°ä²¼¸ü¶àµÄ¼¼Êõ½øÕ¹¡£
Óë´Ëǰ MoE µÄ Abab 6 Ä£Ð͸ճöÏÖʱÀàËÆ£¬Õâ´Î°ä²¼µÄ»ìºÏ°ÑÎÈÁ¦»úÔìµÄ M1 Ôڵײã¼Ü¹¹²ãÃæÒÀÈ»ÊÇÒ»¸ö¡¸·Ç¹²Ê¶¡¹µÄÍÆÀíÄ£ÐÍ£¬µ«Ò²ÕýÊÇÓÉÓÚÕâЩÂÅ´Î̽ÈëÄ£Ð͵ײã¼Ü¹¹¡¸·Ç¹²Ê¶¡¹µØ´øËù´øÀ´µÄ¼¼Êõ´´Ð£¬Ò»ÏòÔÚÓ¡Ö¤ MiniMax ÖÕÓÚÊÇÒ»¼Ò¡¸Ä£ÐÍÇý¶¯¡¹µÄ AI ¹«Ë¾¡£
51吃瓜网今年5月4日,高市早苗在访问澳大利亚期间,在澳大利亚战争纪念馆的无名战士墓前双膝跪地献花。这一举动被外界解读为有意模仿1970年西德总理勃兰特在华沙犹太纪念碑前的“惊世一跪”。然而,勃兰特的下跪之所以能赢得世界的谅解与尊重,是因为战后德国对纳粹罪行进行彻底的法律清算与深刻的社会反省。但是,当时确实泄露了很多彻头彻尾的谎言。目的是为了伤害我们,把我们都描绘成负责人,那些干尽坏事的队长。但事实完全不是那样的。51吃瓜网Ïã½¶ÊÓÆµ当被问及哈兰德是否也拥有这把“自由之钥”时,皮门塔回答得很巧妙:“我只能给你一个宽泛的回答。过去25年里,这家机构(原米诺·拉伊奥拉旗下)的所有合同都是我经手的,全部都是。从来没有哪个球员在提出想走时,最后却走不成的。”值得注意的是,Apple Park 游客中心不只是周边商店,它同时也是一家完整的 Apple Store(苹果零售店)。到访者除选购限定周边外,也能直接购买 iPhone、iPad、Mac 以及各类配件,这让它兼具纪念消费与常规购物功能。
20260605 ? 51吃瓜网美航空航天局在社交媒体平台X上发布消息说,美国东部时间5月30日14时(北京时间31日2时)许,一颗直径约1.6米、质量约5.6吨的流星以每小时约6.8万公里的速度进入地球大气层。¡¼ûÀ¹ú°æ¡¶Ó×ÃÛ·ä¡·4¡·这名巴西中场在多人围抢下从容拿球,转身突进直奔禁区,丢球后又立刻就地反抢。仅凭这一个回合,萨巴蒂尼便下定决心签下他,相比数据研判,他始终更信赖肉眼识人。剔除通胀因素后,这名球员的转会成本和当年马尔基尼奥斯相差无几。
20260605 ? 51吃瓜网如果鲍恩离开西汉姆联,加盟一家伦敦以外的俱乐部,可能会让妻子丹妮-戴尔感到不安。在西汉姆联降入英冠之后,这位“铁锤帮”前锋正面临关于未来的重大抉择。¡¶ÉñÅ®ÏÉ×Ó³õ´Î³Ð»¶TXTÓ×˵¡·如今日本的恶毒之处在于拉拢菲律宾。原本,中国与包括菲律宾在内的东盟各国好商好量,在南海相关问题上在谈各种行为准则。但日本作为南海域外国家,却不遗余力地搅局。然后,如今又拉拢菲律宾北上,跑到台湾岛以东搞事。