В последнее время акции NVIDIA снова достигли рекордных высот, а прогресс мультимодальных моделей углубил технологические барьеры Web2 AI. От семантической согласованности до визуального понимания, от высокоразмерных вложений до слияния признаков, сложные модели с поразительной скоростью интегрируют различные способы выразительности, создавая все более закрытое AI-царство. Рынок акций США также наглядно продемонстрировал свою уверенность в области AI, как в акциях, связанных с криптовалютами, так и в акциях AI, наблюдается небольшой бычий рынок.
Однако, эта волна, похоже, не имеет никакого отношения к сфере криптовалют. Мы наблюдаем попытки Web3 AI, особенно в последние месяцы, в направлении Agent, и здесь есть значительное отклонение по направлению: слишком идеализированная попытка собрать многомодульную модульную систему в стиле Web2 с помощью децентрализованной структуры на самом деле является двойным несоответствием как в технологиях, так и в мышлении. В условиях высокой модульной связности, крайне нестабильного распределения признаков и все более концентрирующихся вычислительных ресурсов, многомодульная модульная система с трудом может устоять в среде Web3.
Будущее Web3 AI не заключается в простом подражании, а в стратегическом обходе. От семантического выравнивания в высокоразмерном пространстве до информационных узких мест в механизмах внимания и выравнивания признаков при гетерогенной вычислительной мощности, на каждом этапе существуют огромные вызовы.
Дилемма семантической согласованности Web3 AI
В современных мультимодальных системах Web2 AI семантическое выравнивание является ключевой технологией, позволяющей отображать информацию из различных модальностей в одно семантическое пространство. Это позволяет моделям понимать и сравнивать внутренние значения сигналов, которые сильно различаются по форме. Только при условии достижения высокоразмерного встраиваемого пространства имеет смысл делить рабочий процесс на различные модули для снижения затрат и увеличения эффективности.
Тем не менее, протокол Web3 Agent трудно реализовать с высокоразмерными вложениями, потому что модульность сама по себе является иллюзией. Большинство Web3 Agent просто оборачивают готовые API в независимые "агенты", не имея единого центрального пространства вложений и межмодульного механизма внимания, что приводит к тому, что информация не может взаимодействовать между модулями с разных углов и на разных уровнях, и может двигаться только по линейному конвейеру, демонстрируя единственную функцию и не способствуя формированию оптимизации замкнутого цикла.
Для реализации интеллектуального агента с отраслевыми барьерами необходимо провести комплексную модель совместного моделирования от конца до конца, единую интеграцию между модулями, а также системную инженерию совместного обучения и развертывания. Однако в настоящее время на рынке нет такой боли, и, следовательно, отсутствует рыночный спрос.
Ограничения механизма внимания
Высокоуровневые мультимодальные модели требуют тщательно разработанных механизмов внимания. Механизм внимания по своей сути представляет собой способ динамического распределения вычислительных ресурсов, который позволяет модели при обработке входных данных одной модальности выборочно "сосредотачиваться" на наиболее релевантных частях.
Однако, на основе модульного Web3 AI трудно реализовать унифицированное управление вниманием. Во-первых, механизм внимания зависит от унифицированного пространства Query-Key-Value, тогда как независимые API возвращают данные в разных форматах и с разным распределением, без единого слоя встраивания, что не позволяет создать взаимодействующие Q/K/V. Во-вторых, Web3 AI часто линейно вызывает API, не имея возможности параллельного и многопоточного динамического взвешивания, что не позволяет имитировать тонкое управление вниманием в механизме. Наконец, настоящий механизм внимания динамически распределяет веса для каждого элемента на основе общего контекста, тогда как в модели API модули могут видеть только свой "независимый" контекст в момент вызова, что не позволяет реализовать глобальную связь и сосредоточенность между модулями.
Поверхностные проблемы интеграции признаков
Web3 AI находится на самом простом этапе слияния признаков, так как динамическое слияние признаков требует высокоразмерного пространства и точного механизма внимания. Когда эти условия не могут быть выполнены, слияние признаков не может достичь идеального уровня производительности.
Web2 AI склонен к совместному обучению от начала до конца, одновременно обрабатывая многомодальные признаки в одном высокоразмерном пространстве, совместно оптимизируя с помощью слоев внимания и слияния вместе со слоями нижнего уровня задач. В отличие от этого, Web3 AI чаще использует подход с раздельными модулями, не имея единой цели обучения и сквозного потока градиентов между модулями.
Барьеры в AI-отрасли и возможности Web3
Барьер в индустрии ИИ углубляется, но реальные возможности для внедрения Web3 AI еще не проявились. Web3 AI должен применить стратегию "окружения города деревней", начиная с небольших масштабных испытаний в периферийных сценариях, и, убедившись в прочности базы, ждать появления ключевых сценариев.
Основное преимущество Web3 AI заключается в децентрализации, а его эволюционный путь проявляется в высокой параллельности, низкой связанности и совместимости гетерогенной вычислительной мощности. Это делает Web3 AI более выгодным в таких сценариях, как крайние вычисления, он подходит для легковесной структуры, легко параллелизируемых и вознаграждаемых задач, таких как дообучение LoRA, пост-тренировочные задачи по выравниванию поведения, обучение и аннотирование краудсорсинговых данных, обучение небольших базовых моделей и совместное обучение на краевых устройствах.
Тем не менее, барьеры текущего Web2 AI только начинают формироваться, и нам нужно дождаться исчезновения прибыли от Web2 AI, прежде чем останутся настоящие возможности для Web3 AI. До этого момента проекты Web3 AI должны внимательно оценить, обладают ли они потенциалом "окружения города деревнями", могут ли они постоянно обновлять продукты в небольших сценариях, и обладают ли они достаточной гибкостью, чтобы справляться с постоянно меняющимися требованиями рынка. Только при выполнении этих условий проекты Web3 AI могут выделиться в будущей конкурентной борьбе.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Возможности в условиях кризиса Web3 AI: ждать, пока истощатся дивиденды, и ухватить крайние сценарии
Проблемы и возможности развития Web3 AI
В последнее время акции NVIDIA снова достигли рекордных высот, а прогресс мультимодальных моделей углубил технологические барьеры Web2 AI. От семантической согласованности до визуального понимания, от высокоразмерных вложений до слияния признаков, сложные модели с поразительной скоростью интегрируют различные способы выразительности, создавая все более закрытое AI-царство. Рынок акций США также наглядно продемонстрировал свою уверенность в области AI, как в акциях, связанных с криптовалютами, так и в акциях AI, наблюдается небольшой бычий рынок.
Однако, эта волна, похоже, не имеет никакого отношения к сфере криптовалют. Мы наблюдаем попытки Web3 AI, особенно в последние месяцы, в направлении Agent, и здесь есть значительное отклонение по направлению: слишком идеализированная попытка собрать многомодульную модульную систему в стиле Web2 с помощью децентрализованной структуры на самом деле является двойным несоответствием как в технологиях, так и в мышлении. В условиях высокой модульной связности, крайне нестабильного распределения признаков и все более концентрирующихся вычислительных ресурсов, многомодульная модульная система с трудом может устоять в среде Web3.
Будущее Web3 AI не заключается в простом подражании, а в стратегическом обходе. От семантического выравнивания в высокоразмерном пространстве до информационных узких мест в механизмах внимания и выравнивания признаков при гетерогенной вычислительной мощности, на каждом этапе существуют огромные вызовы.
Дилемма семантической согласованности Web3 AI
В современных мультимодальных системах Web2 AI семантическое выравнивание является ключевой технологией, позволяющей отображать информацию из различных модальностей в одно семантическое пространство. Это позволяет моделям понимать и сравнивать внутренние значения сигналов, которые сильно различаются по форме. Только при условии достижения высокоразмерного встраиваемого пространства имеет смысл делить рабочий процесс на различные модули для снижения затрат и увеличения эффективности.
Тем не менее, протокол Web3 Agent трудно реализовать с высокоразмерными вложениями, потому что модульность сама по себе является иллюзией. Большинство Web3 Agent просто оборачивают готовые API в независимые "агенты", не имея единого центрального пространства вложений и межмодульного механизма внимания, что приводит к тому, что информация не может взаимодействовать между модулями с разных углов и на разных уровнях, и может двигаться только по линейному конвейеру, демонстрируя единственную функцию и не способствуя формированию оптимизации замкнутого цикла.
Для реализации интеллектуального агента с отраслевыми барьерами необходимо провести комплексную модель совместного моделирования от конца до конца, единую интеграцию между модулями, а также системную инженерию совместного обучения и развертывания. Однако в настоящее время на рынке нет такой боли, и, следовательно, отсутствует рыночный спрос.
Ограничения механизма внимания
Высокоуровневые мультимодальные модели требуют тщательно разработанных механизмов внимания. Механизм внимания по своей сути представляет собой способ динамического распределения вычислительных ресурсов, который позволяет модели при обработке входных данных одной модальности выборочно "сосредотачиваться" на наиболее релевантных частях.
Однако, на основе модульного Web3 AI трудно реализовать унифицированное управление вниманием. Во-первых, механизм внимания зависит от унифицированного пространства Query-Key-Value, тогда как независимые API возвращают данные в разных форматах и с разным распределением, без единого слоя встраивания, что не позволяет создать взаимодействующие Q/K/V. Во-вторых, Web3 AI часто линейно вызывает API, не имея возможности параллельного и многопоточного динамического взвешивания, что не позволяет имитировать тонкое управление вниманием в механизме. Наконец, настоящий механизм внимания динамически распределяет веса для каждого элемента на основе общего контекста, тогда как в модели API модули могут видеть только свой "независимый" контекст в момент вызова, что не позволяет реализовать глобальную связь и сосредоточенность между модулями.
Поверхностные проблемы интеграции признаков
Web3 AI находится на самом простом этапе слияния признаков, так как динамическое слияние признаков требует высокоразмерного пространства и точного механизма внимания. Когда эти условия не могут быть выполнены, слияние признаков не может достичь идеального уровня производительности.
Web2 AI склонен к совместному обучению от начала до конца, одновременно обрабатывая многомодальные признаки в одном высокоразмерном пространстве, совместно оптимизируя с помощью слоев внимания и слияния вместе со слоями нижнего уровня задач. В отличие от этого, Web3 AI чаще использует подход с раздельными модулями, не имея единой цели обучения и сквозного потока градиентов между модулями.
Барьеры в AI-отрасли и возможности Web3
Барьер в индустрии ИИ углубляется, но реальные возможности для внедрения Web3 AI еще не проявились. Web3 AI должен применить стратегию "окружения города деревней", начиная с небольших масштабных испытаний в периферийных сценариях, и, убедившись в прочности базы, ждать появления ключевых сценариев.
Основное преимущество Web3 AI заключается в децентрализации, а его эволюционный путь проявляется в высокой параллельности, низкой связанности и совместимости гетерогенной вычислительной мощности. Это делает Web3 AI более выгодным в таких сценариях, как крайние вычисления, он подходит для легковесной структуры, легко параллелизируемых и вознаграждаемых задач, таких как дообучение LoRA, пост-тренировочные задачи по выравниванию поведения, обучение и аннотирование краудсорсинговых данных, обучение небольших базовых моделей и совместное обучение на краевых устройствах.
Тем не менее, барьеры текущего Web2 AI только начинают формироваться, и нам нужно дождаться исчезновения прибыли от Web2 AI, прежде чем останутся настоящие возможности для Web3 AI. До этого момента проекты Web3 AI должны внимательно оценить, обладают ли они потенциалом "окружения города деревнями", могут ли они постоянно обновлять продукты в небольших сценариях, и обладают ли они достаточной гибкостью, чтобы справляться с постоянно меняющимися требованиями рынка. Только при выполнении этих условий проекты Web3 AI могут выделиться в будущей конкурентной борьбе.