OpenAI高薪招募安全专家 应对AI自我进化风险 —— 在从前六个月里，OpenAI和Anthropic的编程工具获得了巨猛进取之后，AI系统所谓“递归式自我改进”的潜力，已经成为AI行业掌管人关注的沉点。
Demis Hassabis本周暗示，人类如今正站在“奇点”的脚下——也就是AI起头自我发展，并超过人类智能的那个时刻。打算于今年上市的OpenAI，最近颁布了一个分歧寻常的招聘岗位：公司在寻找一名安全钻研员，专门钻延装当AI可能训练出更优良版本的自己时”所带来的后果。
该招聘信息是本月为OpenAI的Preparedness安全团队颁布的。岗位年薪总包为25万至38万欧元，招聘对象是“有经验的技术专家，以支持针对递归式自我改进的筹备工作”。
钻研模型能力的尝试室METR的钻研人员在今年3月写路：AI模型可能实现的工作长度，约莫每七个月翻一倍——这些模型正越来越可能承担那些正本必要人类破费大量功夫实现的工作。
该公司也但愿将自身的钻研工作自动化。CEO Sam Altman去年10月暗示，公司指标是在今年9月之前，让一个“自动化AI钻研实习生”运行在数十万块芯片上；并在2028年3月之前，实现一个“真正的自动化AI钻研员”。
“我们齐全可能在这个指标上失败，”Altman在X上写路，“但思考到其潜在影响极其巨大，我们以为，公开通明地会商这件事切合公共利益。
”今年5月，Anthropic结合首创人兼政策主管Jack Clark暗示，他以为到2028年底，实现“没有人类参加的AI研发”的概率约莫为60%。
若是AI模型可能自行训练自己，那么一种科幻式反乌托国场景就可能出现：它们的能力迅速增长、脱离节造，并造成宽泛中伤——这正是AI安全活动持久忧郁的问题。
招聘信息提到，这名钻研员可能会专一于；penAI模型免受“数据投毒”攻击——也就是通过被把持的训练数据来腐蚀AI模型的行为。
行业汇报显示，OpenAI高薪招募安全专家 应对AI自我进化风险在2024年期间复合增长率高达35%。