Нещодавно акції Nvidia знову досягли рекордного рівня, а прогрес мультимодальних моделей поглиблює технологічний бар'єр Web2 AI. Від семантичного вирівнювання до візуального розуміння, від високорозмірних вбудувань до злиття ознак, складні моделі інтегрують різні модальності вираження з приголомшливою швидкістю, створюючи все більш закриту AI територію. Ринок акцій США також на практиці показав оптимізм щодо сфери AI: як акції, пов'язані з криптовалютами, так і акції AI демонструють хвилю невеликого бичачого ринку.
Однак, ця хвиля, здається, не має жодного відношення до сфери криптовалют. Ми спостерігаємо спроби Web3 AI, особливо в напрямку Agent за останні кілька місяців, які мають істотні відхилення в своєму напрямку: надто ідеалізовано намагаються використовувати децентралізовану структуру для спорудження багатомодульної модульної системи у стилі Web2, що насправді є подвійним невідповідністю в технології та мисленні. У світлі сильної модульної зв'язності, високо нестабільного розподілу ознак і зростаючих вимог до обчислювальної потужності, багатомодульність у середовищі Web3 важко утвердитися.
Майбутнє Web3 AI полягає не в простому наслідуванні, а в стратегічному обході. Від семантичного вирівнювання у високих вимірах до інформаційних вузьких місць в механізмі уваги, і до вирівнювання ознак під гетерогенними обчислювальними потужностями, на кожному етапі існують величезні виклики.
Семантична проблема вирівнювання Web3 AI
У сучасних мультимодальних системах Web2 AI семантичне вирівнювання є ключовою технологією, яка дозволяє відображати інформацію з різних модальностей в одну семантичну простір. Це дозволяє моделям розуміти та порівнювати внутрішній зміст сигналів, які суттєво відрізняються за формою. Лише за умови досягнення високодименсійного вбудованого простору має сенс розділяти робочі процеси на різні модулі для зменшення витрат і підвищення ефективності.
Однак протокол Web3 Agent важко реалізувати в умовах високодоменної вбудованості, оскільки модульність сама по собі є ілюзією. Більшість Web3 Agent просто упаковують готові API в окремі "агенти", які не мають єдиного центрального вбудованого простору та міжмодульного механізму уваги, що призводить до неможливості багатогранної та багаторівневої взаємодії інформації між модулями, що може відбуватися лише в лінійній послідовності, проявляючи єдину функцію, і не здатні сформувати загальну замкнуту оптимізацію.
Щоб реалізувати повноланцюговий інтелектуальний агент з бар'єрами в галузі, необхідно провести спільне моделювання від кінця до кінця, єдине вбудовування між модулями, а також систематичну інженерію кооперативного навчання та впровадження, але на даний момент ринок не має таких болючих точок, отже, також відсутній попит на ринку.
Обмеження механізму уваги
Високоякісні багатомодальні моделі потребують ретельно спроектованих механізмів уваги. Механізм уваги, по суті, є способом динамічного розподілу обчислювальних ресурсів, який дозволяє моделі при обробці певного модального вхідного сигналу вибірково "зосереджуватися" на найбільш релевантних частинах.
Однак, на основі модульного Web3 AI важко реалізувати єдине управління увагою. По-перше, механізм уваги залежить від єдиного простору Query-Key-Value, тоді як незалежні API повертають дані в різних форматах і з різними розподілами, без єдиного шару вбудовування, що унеможливлює формування взаємодіючих Q/K/V. По-друге, Web3 AI часто є лінійним викликом API, позбавленим можливості паралельного, багатоканального динамічного зважування, що не дозволяє моделювати тонке управління в механізмі уваги. Нарешті, справжній механізм уваги динамічно розподіляє ваги для кожного елемента на основі загального контексту, тоді як у моделі API модулі можуть бачити лише "незалежний" контекст, в якому вони викликаються, що унеможливлює реалізацію глобальної асоціації та фокусування між модулями.
Поверхневі проблеми злиття ознак
Web3 AI залишилася на найпростішій стадії злиття ознак, оскільки передумовою динамічного злиття ознак є високорозмірний простір та точний механізм уваги. Коли ці умови не можуть бути забезпечені, злиття ознак природно не може досягти бажаного рівня продуктивності.
Web2 AI має тенденцію до об'єднаного навчання від початку до кінця, одночасно обробляючи багатомодальні характеристики в одному високорозмірному просторі, оптимізуючи разом з шаром уваги та шаром злиття. У порівнянні з цим, Web3 AI більше покладається на з'єднання дискретних модулів, що призводить до відсутності єдиної цілі навчання та міжмодульного потоку градієнтів.
Бар'єри в індустрії штучного інтелекту та можливості Web3
Бар'єри в AI-індустрії поглиблюються, але можливості для проникнення Web3 AI ще не проявилися. Web3 AI слід застосувати тактику розвитку "села, що оточує місто", проводячи невеликі експерименти в крайових сценаріях, забезпечивши надійний фундамент, перш ніж чекати появи основних сценаріїв.
Основною перевагою Web3 AI є децентралізація, і його шлях еволюції відображається в сумісності з високим рівнем паралелізму, низьким зв'язком і гетерогенною обчислювальною потужністю. Це робить Web3 AI більш вигідним у таких сценаріях, як периферійні обчислення, і підходить для завдань із легкою структурою, легкою паралелізмом і стимулюванням, таких як тонке налаштування LoRA, завдання після навчання для вирівнювання поведінки, навчання та анотація даних за допомогою краудсорсингу, навчання невеликій базовій моделі та спільне навчання периферійних пристроїв.
Однак, нинішні бар'єри Web2 AI тільки починають формуватися, і нам потрібно дочекатися, поки вигоди Web2 AI не зникнуть, адже залишені ним болючі моменти стануть справжньою можливістю для входу Web3 AI. До цього часу проекти Web3 AI повинні ретельно оцінити, чи мають вони потенціал "сільської обгортки міста", чи можуть вони постійно оновлювати продукти в малих сценах, чи мають достатню гнучкість для адаптації до постійно змінюваних вимог ринку. Лише задовольнивши ці умови, проекти Web3 AI матимуть шанс виділитися у майбутній конкуренції.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Можливості в умовах труднощів Web3 AI: чекати на вичерпання дивідендів та захоплювати краєвиди на межі
Випробування та можливості розвитку Web3 AI
Нещодавно акції Nvidia знову досягли рекордного рівня, а прогрес мультимодальних моделей поглиблює технологічний бар'єр Web2 AI. Від семантичного вирівнювання до візуального розуміння, від високорозмірних вбудувань до злиття ознак, складні моделі інтегрують різні модальності вираження з приголомшливою швидкістю, створюючи все більш закриту AI територію. Ринок акцій США також на практиці показав оптимізм щодо сфери AI: як акції, пов'язані з криптовалютами, так і акції AI демонструють хвилю невеликого бичачого ринку.
Однак, ця хвиля, здається, не має жодного відношення до сфери криптовалют. Ми спостерігаємо спроби Web3 AI, особливо в напрямку Agent за останні кілька місяців, які мають істотні відхилення в своєму напрямку: надто ідеалізовано намагаються використовувати децентралізовану структуру для спорудження багатомодульної модульної системи у стилі Web2, що насправді є подвійним невідповідністю в технології та мисленні. У світлі сильної модульної зв'язності, високо нестабільного розподілу ознак і зростаючих вимог до обчислювальної потужності, багатомодульність у середовищі Web3 важко утвердитися.
Майбутнє Web3 AI полягає не в простому наслідуванні, а в стратегічному обході. Від семантичного вирівнювання у високих вимірах до інформаційних вузьких місць в механізмі уваги, і до вирівнювання ознак під гетерогенними обчислювальними потужностями, на кожному етапі існують величезні виклики.
Семантична проблема вирівнювання Web3 AI
У сучасних мультимодальних системах Web2 AI семантичне вирівнювання є ключовою технологією, яка дозволяє відображати інформацію з різних модальностей в одну семантичну простір. Це дозволяє моделям розуміти та порівнювати внутрішній зміст сигналів, які суттєво відрізняються за формою. Лише за умови досягнення високодименсійного вбудованого простору має сенс розділяти робочі процеси на різні модулі для зменшення витрат і підвищення ефективності.
Однак протокол Web3 Agent важко реалізувати в умовах високодоменної вбудованості, оскільки модульність сама по собі є ілюзією. Більшість Web3 Agent просто упаковують готові API в окремі "агенти", які не мають єдиного центрального вбудованого простору та міжмодульного механізму уваги, що призводить до неможливості багатогранної та багаторівневої взаємодії інформації між модулями, що може відбуватися лише в лінійній послідовності, проявляючи єдину функцію, і не здатні сформувати загальну замкнуту оптимізацію.
Щоб реалізувати повноланцюговий інтелектуальний агент з бар'єрами в галузі, необхідно провести спільне моделювання від кінця до кінця, єдине вбудовування між модулями, а також систематичну інженерію кооперативного навчання та впровадження, але на даний момент ринок не має таких болючих точок, отже, також відсутній попит на ринку.
Обмеження механізму уваги
Високоякісні багатомодальні моделі потребують ретельно спроектованих механізмів уваги. Механізм уваги, по суті, є способом динамічного розподілу обчислювальних ресурсів, який дозволяє моделі при обробці певного модального вхідного сигналу вибірково "зосереджуватися" на найбільш релевантних частинах.
Однак, на основі модульного Web3 AI важко реалізувати єдине управління увагою. По-перше, механізм уваги залежить від єдиного простору Query-Key-Value, тоді як незалежні API повертають дані в різних форматах і з різними розподілами, без єдиного шару вбудовування, що унеможливлює формування взаємодіючих Q/K/V. По-друге, Web3 AI часто є лінійним викликом API, позбавленим можливості паралельного, багатоканального динамічного зважування, що не дозволяє моделювати тонке управління в механізмі уваги. Нарешті, справжній механізм уваги динамічно розподіляє ваги для кожного елемента на основі загального контексту, тоді як у моделі API модулі можуть бачити лише "незалежний" контекст, в якому вони викликаються, що унеможливлює реалізацію глобальної асоціації та фокусування між модулями.
Поверхневі проблеми злиття ознак
Web3 AI залишилася на найпростішій стадії злиття ознак, оскільки передумовою динамічного злиття ознак є високорозмірний простір та точний механізм уваги. Коли ці умови не можуть бути забезпечені, злиття ознак природно не може досягти бажаного рівня продуктивності.
Web2 AI має тенденцію до об'єднаного навчання від початку до кінця, одночасно обробляючи багатомодальні характеристики в одному високорозмірному просторі, оптимізуючи разом з шаром уваги та шаром злиття. У порівнянні з цим, Web3 AI більше покладається на з'єднання дискретних модулів, що призводить до відсутності єдиної цілі навчання та міжмодульного потоку градієнтів.
Бар'єри в індустрії штучного інтелекту та можливості Web3
Бар'єри в AI-індустрії поглиблюються, але можливості для проникнення Web3 AI ще не проявилися. Web3 AI слід застосувати тактику розвитку "села, що оточує місто", проводячи невеликі експерименти в крайових сценаріях, забезпечивши надійний фундамент, перш ніж чекати появи основних сценаріїв.
Основною перевагою Web3 AI є децентралізація, і його шлях еволюції відображається в сумісності з високим рівнем паралелізму, низьким зв'язком і гетерогенною обчислювальною потужністю. Це робить Web3 AI більш вигідним у таких сценаріях, як периферійні обчислення, і підходить для завдань із легкою структурою, легкою паралелізмом і стимулюванням, таких як тонке налаштування LoRA, завдання після навчання для вирівнювання поведінки, навчання та анотація даних за допомогою краудсорсингу, навчання невеликій базовій моделі та спільне навчання периферійних пристроїв.
Однак, нинішні бар'єри Web2 AI тільки починають формуватися, і нам потрібно дочекатися, поки вигоди Web2 AI не зникнуть, адже залишені ним болючі моменти стануть справжньою можливістю для входу Web3 AI. До цього часу проекти Web3 AI повинні ретельно оцінити, чи мають вони потенціал "сільської обгортки міста", чи можуть вони постійно оновлювати продукти в малих сценах, чи мають достатню гнучкість для адаптації до постійно змінюваних вимог ринку. Лише задовольнивши ці умови, проекти Web3 AI матимуть шанс виділитися у майбутній конкуренції.