Заявленный переход InterLink с 113-го на 51-е место в рейтинге NIST
Недавно InterLink Labs объявила, что её модель interlinklabs-003 поднялась со 113-го на 51-е место в рейтинге NIST. Это рост на 62 позиции. Я не могу независимо подтвердить этот рейтинг, поэтому рассматриваю его как собственное заявление InterLink, а не как установленный факт.
Объявление касается направления Human-AI, которое оценивает, насколько хорошо модель реагирует на реальные запросы людей, а не только насколько она большая или быстрая. Модель может хорошо показывать себя по техническим показателям и при этом давать ответы, не соответствующие запросу человека. Поэтому данные, на которых обучена модель, так важны.
InterLink утверждает, что прогресс стал результатом инженерных и исследовательских работ, неоднократных улучшений модели и большого набора данных, проверенного людьми. Постепенная работа в таком духе — вполне правдоподобный путь к изменению позиции в рейтинге. Однако в объявлении не объясняется, как рассчитывается рейтинг и какие задачи он охватывает. Эти подробности помогли бы лучше оценить заявление.
Кроме того, рейтинг — это лишь моментальный снимок. Другие команды продолжают совершенствовать свои модели, и позиции могут меняться от одной оценки к другой. Для меня важнее самого числа то, продолжает ли команда со временем делиться своими методами и результатами.
Пока это лишь один показатель развития направления Human-AI в InterLink. Если будут опубликованы дополнительные сведения об оценке и наборе данных, станет легче понять, насколько значителен этот переход.
Что бы вы хотели узнать о таком рейтинге, прежде чем ему доверять?
#InterLink #ITLG #ITL #CPIWatch #Binance
$BTC $ETH
Недавно InterLink Labs объявила, что её модель interlinklabs-003 поднялась со 113-го на 51-е место в рейтинге NIST. Это рост на 62 позиции. Я не могу независимо подтвердить этот рейтинг, поэтому рассматриваю его как собственное заявление InterLink, а не как установленный факт.
Объявление касается направления Human-AI, которое оценивает, насколько хорошо модель реагирует на реальные запросы людей, а не только насколько она большая или быстрая. Модель может хорошо показывать себя по техническим показателям и при этом давать ответы, не соответствующие запросу человека. Поэтому данные, на которых обучена модель, так важны.
InterLink утверждает, что прогресс стал результатом инженерных и исследовательских работ, неоднократных улучшений модели и большого набора данных, проверенного людьми. Постепенная работа в таком духе — вполне правдоподобный путь к изменению позиции в рейтинге. Однако в объявлении не объясняется, как рассчитывается рейтинг и какие задачи он охватывает. Эти подробности помогли бы лучше оценить заявление.
Кроме того, рейтинг — это лишь моментальный снимок. Другие команды продолжают совершенствовать свои модели, и позиции могут меняться от одной оценки к другой. Для меня важнее самого числа то, продолжает ли команда со временем делиться своими методами и результатами.
Пока это лишь один показатель развития направления Human-AI в InterLink. Если будут опубликованы дополнительные сведения об оценке и наборе данных, станет легче понять, насколько значителен этот переход.
Что бы вы хотели узнать о таком рейтинге, прежде чем ему доверять?
#InterLink #ITLG #ITL #CPIWatch #Binance
$BTC $ETH