ByteDance Seed создала отдельное подразделение по безопасности и согласованию моделей — кажется, это действительно необходимо.
В рамках этого подразделения они планируют нанять по всему миру 10 ведущих исследователей.
Темы исследований:
Передовые методы оценки безопасности больших моделей и агентов, создание бенчмарков
Методы обучения для согласования передовых возможностей моделей
Автоматизированный Red Teaming
Интерпретируемость поведения моделей
Мониторинг возможностей и поведения моделей
В ByteDance всегда предлагали очень достойные условия, а сама работа — серьёзный вызов. Если вы недавно присматривались к похожим направлениям, стоит попробовать.
В последнее время и у больших, и у маленьких моделей всё чаще возникают проблемы с выходом из-под контроля и преодолением изоляции песочницы.
Причём такие риски могут быть как незначительными, так и весьма серьёзными. Если заранее подготовиться и постоянно заниматься исследованиями, то хотя бы при возникновении проблемы можно будет быстро отреагировать.
По мере роста возможностей моделей и их автономности увеличиваются и потенциальные риски в некоторых опасных областях:
например, в сфере CBRN (химической, биологической, радиологической и ядерной).
Многим, возможно, кажется, что все четыре перечисленные области нас не касаются, но атаки на пользователей в интернете — куда более близкая угроза.
ИИ может даже напрямую модифицировать приложения и управлять другими устройствами в доме.
Если ИИ научится взламывать любое программное обеспечение, то создание с его помощью чрезвычайно мощного вируса станет вполне закономерным развитием событий.
То же касается и взлома криптографии, на которой держится весь интернет: здесь прогресс, вероятно, тоже идёт семимильными шагами.
Объективно говоря, в Китае прогресс в этой области пока отстаёт от OpenAI и Anthropic.
Anthropic изначально создавалась ради безопасности и уже давно занимается исследованиями в области согласования и интерпретируемости. А за рубежом в сфере ИИ почти каждые одну-две недели появляются громкие новости о безопасности — например, несколько дней назад уволился исследователь по безопасности OpenAI, а ранее произошёл взлом Hugging Face.
Безопасность моделей — передовая междисциплинарная область, требующая масштабных исследований и высоких требований к специалистам.
Именно поэтому они набирают таких выдающихся специалистов по всему миру и проводят открытый набор. Тем, кому интересно, стоит присмотреться.
В рамках этого подразделения они планируют нанять по всему миру 10 ведущих исследователей.
Темы исследований:
Передовые методы оценки безопасности больших моделей и агентов, создание бенчмарков
Методы обучения для согласования передовых возможностей моделей
Автоматизированный Red Teaming
Интерпретируемость поведения моделей
Мониторинг возможностей и поведения моделей
В ByteDance всегда предлагали очень достойные условия, а сама работа — серьёзный вызов. Если вы недавно присматривались к похожим направлениям, стоит попробовать.
В последнее время и у больших, и у маленьких моделей всё чаще возникают проблемы с выходом из-под контроля и преодолением изоляции песочницы.
Причём такие риски могут быть как незначительными, так и весьма серьёзными. Если заранее подготовиться и постоянно заниматься исследованиями, то хотя бы при возникновении проблемы можно будет быстро отреагировать.
По мере роста возможностей моделей и их автономности увеличиваются и потенциальные риски в некоторых опасных областях:
например, в сфере CBRN (химической, биологической, радиологической и ядерной).
Многим, возможно, кажется, что все четыре перечисленные области нас не касаются, но атаки на пользователей в интернете — куда более близкая угроза.
ИИ может даже напрямую модифицировать приложения и управлять другими устройствами в доме.
Если ИИ научится взламывать любое программное обеспечение, то создание с его помощью чрезвычайно мощного вируса станет вполне закономерным развитием событий.
То же касается и взлома криптографии, на которой держится весь интернет: здесь прогресс, вероятно, тоже идёт семимильными шагами.
Объективно говоря, в Китае прогресс в этой области пока отстаёт от OpenAI и Anthropic.
Anthropic изначально создавалась ради безопасности и уже давно занимается исследованиями в области согласования и интерпретируемости. А за рубежом в сфере ИИ почти каждые одну-две недели появляются громкие новости о безопасности — например, несколько дней назад уволился исследователь по безопасности OpenAI, а ранее произошёл взлом Hugging Face.
Безопасность моделей — передовая междисциплинарная область, требующая масштабных исследований и высоких требований к специалистам.
Именно поэтому они набирают таких выдающихся специалистов по всему миру и проводят открытый набор. Тем, кому интересно, стоит присмотреться.