Èý´óÒýÇæÇý¶¯ÖÇÄÜԾǨ£º¡°ÖÇÕßǧÎÊ 2.0¡±µÄ¶àÎ¬Í»ÆÆ

×ðÁúʱ¿­ÈËÉú¾ÍÊDz«¹ÙÍøz6mg

Ê×Ò³ > ÐÂÎż°Ã½Ìå > 2025

Èý´óÒýÇæÇý¶¯ÖÇÄÜԾǨ£º¡°ÖÇÕßǧÎÊ 2.0¡±µÄ¶àÎ¬Í»ÆÆ

2025-07-16

ÔÚÄ¿½ñµÄÌìÉúʽAI¾º¼¼ÈüÖУ¬´óÄ£×ӵIJÎÊýÖ®ÕùÒÑÖð½¥ÏÝÈë±ß¼ÊÐ§ÒæµÝ¼õµÄÄæ¾³£¬×ÔÈ»ÓïÑÔ´¦Öóͷ£ÁìÓòÐèÒªÒ»¸öеÄÍ»ÆÆ¿Ú ¡£×ðÁúʱ¿­ÈËÉú¾ÍÊDz«¹ÙÍøz6mg×Ó¹«Ë¾ÖǾ³ÔÆ´´µÄÊÖÒÕÑз¢ÍŶÓÓÚ¿ËÈÕ½ÒÏþÁËÌâΪ¡¶Breaking Thought Patterns: A Multi-Dimensional Reasoning Framework for LLMs¡·£¨http://arxiv.org/abs/2506.13192£©µÄÂÛÎÄ ¡£

ÂÛÎÄÒÔ¶àÎ¬ÍÆÀí¿ò¼ÜΪ½¹µã£¬ÖØÐ½ç˵ÁËÓïÑÔÖÇÄܵĽø»¯Â·¾¶ ¡£Æä½¹µã¼Ü¹¹LADDER£¨Logical Abstraction and Dimensionality Descent for Emergent Reasoning£©Í¨¹ýÍ·ÄÔÁ´£¨CoT£©¡¢×¨¼Ò»ìÏý£¨MoE£©ºÍÓïÒåÉý½µÎ¬£¨DimMap£©Èý´óÒýÇæµÄЭͬ£¬Í»ÆÆÁËÒÔÍù´óÓïÑÔÄ£×Ó¹ÌÓÐÍ·ÄÔÐÔ¡¢´´Ôì¶àÑùÐÔºÍʹÃüÊÊÅäÐÔÉÏµÄÆ¿¾± ¡£¡°ÖÇÕßǧÎÊ2.0¡±£¬ÕýÊÇÔÚÕâÒ»Åä¾°ÏÂÓ¦Ô˶øÉúµÄȫжàÎ¬ÍÆÀí¿ò¼Ü ¡£

ÐòºÅ1.jpg

Èý´ó½¹µãÒýÇæ£¬Çý¶¯ÓïÑÔÖÇÄܵÄԾǨ


1. Í·ÄÔÁ´CoT£ºÈÃÍÆÀíÓµÓпÉ×·Ëݵġ°Ë¼Ð÷¡±

ÔÚ¡°ÖÇÕßǧÎÊ2.0¡±ÖУ¬CoT£¨Chain-of-Thought£©»úÖÆÖ¸µ¼Ä£×ÓÖð²½²ð½âÎÊÌ⣬ÏÔʽչʾÖÐÐÄÍÆÀíÀú³Ì ¡£ÕâÒâζ×ÅÄ£×Ó²»ÔÙÖ»ÊÇÊä³öÒ»¸öºÚÏäÃÕµ×£¬¶øÊÇÏȴ³ö¶à²½µÄÂß¼­Ì¨½× ¡£ÎÞÂÛÊÇÊýÑ§ÍÆµ¼¡¢ÖªÊ¶åÚÏëÕվɶàÇé½Ú¹ÊʱàÖ¯£¬¶¼Òò´ËÔ½·¢ÇåÎú¡¢¿ÉÚ¹ÊÍ ¡£

2. ר¼Ò»ìÏýMoE£º¼¤»î¡°¶àÖÇÕß¹²ÉÌ¡±µÄÖÇ»ÛЭ×÷

¹Å°åTransformer¼Ü¹¹ÍùÍùÒÔ¼òµ¥Æð¾¶´¦Öóͷ£ËùÓÐÊäÈ룬¶ø¡°ÖÇÕßǧÎÊ2.0¡±½èÖú Mixture of Experts£¨MoE£©»úÖÆ£¬Õë¶Ô²î±ðʹÃüÐèÇó¶¯Ì¬Ñ¡Ôñ×îÆ¥ÅäµÄ×ÓÄ£×Ó£¨×¨¼Ò£© ¡£ÏµÍ³Í¨¹ýTop-k·ÓÉ£¬½ö¼¤»îµÃ·Ö×î¸ßµÄk¸öר¼Ò£¬ÔÙͨ¹ýÃÅ¿ØÍøÂçÅÌËãÈ¨ÖØ²¢¼ÓȨÈںϣ¬ÔÙͨ¹ýÃÅ¿ØÍøÂç¼ÓȨÈںϣ¬ÊµÏÖ¶àάÊӽǵÄÖÇÄܹ²´´ ¡£

3. ÓïÒåÉý½µÎ¬DimMap£ºÔÚÁýͳÓëϸ½ÚÖ®¼ä×ÔÓÉ´©Ëó

ÔÚLADDER¿ò¼ÜÏ£¬ÊäÈëÊ×ÏÈ»ùÓÚÓïÒåêµãÓ³ÉäÖÁ¸ßάÁýͳ¿´·¨¿Õ¼ä£¬ÊµÏÖÓïÒåµÄÉýά·º»¯£¬ÔÙÓɶàר¼Ò²¢Ðмӹ¤ºó£¬Í¨¹ý½µÎ¬Õ½ÂÔ»ØÂäÖÁÏêϸÓï¾³ ¡£ÕâÒ»»úÖÆ°ü¹ÜÁËÓïÑÔÌìÉú¼ÈÄܴӸ߽׿´·¨³ö·¢£¬ÍØÕ¹åÚÏëµÄ½çÏߣ¬ÓÖÄÜÔÚÊä³öʱ¼á³ÖÓïÒåÒ»Ö¡¢½á¹¹ºÏÀí ¡£

image.png

LADDER½á¹¹Ê¾Òâͼ ¡£×óͼ£º¶ÔʹÃü¾ÙÐзִʴ¦Öóͷ££¬ÌáȡҪº¦´Ê ¡£ÓÒͼ£º¶ÔÒªº¦´Ê¾ÙÐÐÓïÒåÍÆÀí ¡£

ÐòºÅ2.jpg

ʵÑéÑéÖ¤£¬ÌìÉú¸ü¸»´´Ôì¡¢¸ü½²Âß¼­¡¢¸üÊÊÅäÃÕµ×



ÔÚ¶à¸öʹÃüµÄϵͳʵ֤ÖУ¬ÖÇÕ߸ÉÎÊ2.0ÔÚÌìÉú¶àÑùÐÔ¡¢ÓïÒåÒ»ÖÂÐÔ¡¢Ê¹ÃüÍê³ÉÂÊÒÔ¼°ÓïÑÔÁ÷ͨÐÔµÈά¶È¾ùÕ¹ÏÖ³öÏÔÖøÓÅÊÆ ¡£È磺ÔÚ´´Òâд×÷ʹÃüÖУ¬ÆäSelf-BLEU½µÖÁ0.06£¬ÏÔʾÌìÉúÄÚÈݸ߶ÈȥͬÖÊ»¯£»Distinct-2¸ß´ï0.46£¬Åú×¢´Ê»ãÓë±í´ï¼«¾ß¸»ºñÐÔ ¡£Í¨¹ý²âÊÔÈ˹¤ÆÀÉóЧ¹ûÖУ¬48%Ê×Ñ¡ÖÇÕ߸ÉÎÊ2.0µÄÊä³ö£¬³ä·ÖÌåÏÖÆä׿ԽµÄ´´ÔìÁ¦ ¡£

ÔÚÖªÊ¶ÍÆÀíÓëÖØ´óÖ¸ÁîÖ´ÐÐʹÃüÖУ¬ÖÇÕ߸ÉÎÊ2.0²»µ«¼á³ÖÁ˽ϸߵÄ׼ȷÂÊ£¬»¹Äܹ»×Ô¶¯Õ¹ÏÖ¶àÌõÍÆÀíÁ´Óë¶àÑù»¯½â·¨£¬ÌåÏÖ³öÆæÒìµÄ¡°¹ã¶È˼Ë÷¡±ÄÜÁ¦ ¡£ÕâÖÖ¼È×·Çó׼ȷ£¬ÓÖÓÂÓÚ̽Ë÷¶à½â¿Õ¼äµÄÌØÖÊ£¬ÕýÊÇÏÂÒ»´úÌìÉúʽÈ˹¤ÖÇÄÜ×ßÏòÉî²ãÖÇÄÜÓëÁ¢Òì±í´ïµÄÖ÷ҪƫÏò ¡£


ÐòºÅ3.png

¶àÄ£¿éЭ×÷£¬ÐγÉÕæÕýµÄ¡°Ç§ÎÊÖ®ÖÇ¡±


ÏûÈÚʵÑé½øÒ»²½Õ¹ÏÖÁËÈý´óÄ£¿é²»¿É»òȱµÄ×÷Óãº

  • ÒÆ³ýCoTºó£¬¸´ÔÓÍÆÀíʹÃüÍê³ÉÂÊϽµ½ü10%£¬ÓïÒåÁ´ÌõÖ§ÀëÆÆË飻

  • È¥µôMoE£¬Ä£×Óʧȥ¶àÑù»¯Æø¸ÅÓëרҵÄÜÁ¦µÄ¶¯Ì¬µ÷Àí£»

  •  È±ÉÙÉý½µÎ¬Ä£¿é£¬Êä³öÎı¾ÏÔÖøÊ§È¥¿´·¨¿ç¶ÈÓëϸÄåÏνÓ ¡£

ÕýÊÇÕâÈýÕßÈçÌݼ¶°ã²ã²ãµÝ½ø¡¢Ï໥֧³Ö£¬×é³ÉÁË¡°ÖÇÕßǧÎÊ2.0¡±µÄǧÎÊÖ®ÖÇ£¬Ê¹ËüÄܹ»ÔÚ¶àÁìÓòʹÃüÖÐÕ¹ÏÖǿʢµÄ·º»¯ÓëǨáãÄÜÁ¦ ¡£

´Ó¹ã¸æ´´Òâµ½¿ÆÑ§ÂÛÖ¤£¬´Ó½ÇÉ«¶Ô»°µ½¶à°ì·¨ÍýÏ룬ÖǾ³ÔÆ´´¡°ÖÇÕßǧÎÊ2.0¡±½èLADDER¿ò¼ÜΪÓïÑÔÖÇÄÜ×¢ÈëÁË¡°»á˼Ë÷¡¢¶®Ð­×÷¡¢ÄÜ¿ç²ã¡±µÄÐÂÁé»ê ¡£Õâ²»µ«ÊÇÊÖÒÕϵͳµÄ½ø»¯£¬Ò²ÊÇͨÏò¸ü¾ß´´ÔìÐÔÓë˳ӦÐÔµÄδÀ´È˹¤ÖÇÄܵÄÖ÷Ҫ̨½× ¡£ÖÇÕßǧÎÊ2.0°æ£¬ÕýÒÔ¶àÎ¬ÍÆÀíµÄÁ¦Á¿£¬ÎªÈË»ú¹²´´¿ªÍظü¿íÀ«µÄ½çÏß ¡£

ÂÛÎÄÁ´½Ó£ºhttp://arxiv.org/abs/2506.13192


ÍøÕ¾µØÍ¼