OpenAI, 교사 AI 과정에 브라질 포르투갈어 추가…질문으로 배우는 수업을 제안
OpenAI가 무료 학습 플랫폼의 교사 대상 AI 과정에 브라질 포르투갈어를 추가했다. 수업 준비와 평가에 도구를 쓰되 교사의 교육적 판단을 유지하는 방향이다. 함께 소개한 학습 모드는 단계별 질문을 돕는 기존 기능으로, 이번에 새로 출시된 것은 아니다.
“평가” 검색 결과검색 초기화23편
구글 Gemini 4 Argon 공개…장기 추론의 가능성과 엔지니어링·과학 사례의 평가 범위
구글이 Gemini 4 Argon을 공개하며 복잡한 소프트웨어 작업과 과학 연구 사례를 제시했다. 모델은 입력과 출력을 합친 최대 1M 토큰 맥락을 사용한다. ADK 최적화는 특정 프레임워크 구간의 측정이며 사람의 검토를 거쳤고, 핵융합 관련 사례는 평형 해석해 연구다. 성과의 범위와 모델 카드의 한계를 함께 살핀다.
메타, 유휴 추론 자원으로 광고 후보·모델 적용 폭 조정…기본 서비스 보호 구조 공개
메타가 회수 가능한 유휴 추론 자원을 광고 추천에 활용하는 구조를 공개했다. RMA는 평가 후보 수를, SBM은 더 강력한 모델로 보내는 요청 비율을 조절한다. 자원이 줄면 추가 작업을 덜어내 기본 서비스에 부담이 넘어가지 않게 설계했다. 자원 구성·부하 분산·모델 계산·배분 정책이 함께 작동하며 결과를 단일 모델 효과로 볼 수는 없다.
여기어때, 사내 RAG에 검색·답변 평가와 MCP 운영 체계 구축
여기어때가 사내 문서 검색을 랭퓨즈로 관측하고 검색 지표와 LLM 채점을 나눠 평가한 사례를 공개했다. MCP 명세와 문서 식별 방식도 개선했다. 내부 평가 결과를 일반 성능으로 확대하지 않고, 변경을 판단할 근거를 만드는 과정에 주목할 만하다.
허깅페이스 ML Intern 제작 사례 공개… 작은 모델도 기준선·예산·평가가 먼저
허깅페이스가 자연어 지시로 학습·평가 작업을 수행하는 ML Intern의 여섯 제작 사례를 소개했다. 공개 모델 카드와 공식 문서는 작업별 성과, 비상업 라이선스, 계산 비용의 범위를 보여준다. 쉽게 시작하는 학습 에이전트에서도 기준선과 검증 가능한 산출물이 중요한 이유를 살핀다.
TII, Falcon ASR 발표… 아랍어·에미라티 음성 인식 결과와 평가 범위
아부다비 TII가 16억 매개변수의 Falcon ASR을 소개했다. 아랍어 여섯 시험의 평균 단어 오류율 20.92%와 별도 에미라티 내부 평가를 제시하며 다섯 언어 전사를 지원한다고 밝혔다. 공개 데이터와 내부 시험, 데모 제공과 계획 중인 API를 구분해 읽는다.
OpenAI, 미출시 프론티어 모델 기반 수학 난제 논문 722편 공개
OpenAI가 아직 출시하지 않은 내부 프론티어 모델을 활용해 수학 미해결 문제들을 탐색하고, 총 372개 문제군에 걸친 722편의 논문 초안과 린(Lean 4) 검증 코드를 깃허브에 공개했습니다. 전통적인 학술 동료 평가 체계를 거치지 않고 대규모 결과물을 일괄 배포함에 따라 학계에서는 연산 능력에 대한 주목과 연구 재현성 한계를 둘러싼 비판이 동시에 제기되고 있습니다.
코딩 시험 대신 선택의 이유를 묻다… 말레이시아 교수의 Colab·Gemini 수업
말레이시아 Universiti Putra의 교수가 데이터 마이닝 평가를 코드 작성 시험에서 선택을 설명하는 구두 면담으로 바꾼 경험을 공개했다. 학생은 Colab의 Gemini 제안을 검토하고 모델링 결정을 정당화한다. 교수의 평가 방식과 제품 기능, 학습 효과의 근거를 구분해 읽는다.
Chatham의 거래 검증 재설계… 30분→4분 미만은 초기 업무 측정
OpenAI가 Chatham Financial의 Codex·GPT 활용 사례를 공개했다. 거래 증거를 모아 조건을 비교하는 앱의 초기 검토 시간이 약 30분에서 4분 미만으로 줄었다는 회사 평가다. 전문가와 실제 거래를 대조 중인 단계이며, 모델 단독 성능과 업무 재설계의 효과를 구분한다.
클라우드플레어, 결정 모델 Clef 공개…확률 출력과 맞춤 학습 지원
클라우드플레어가 선택지별 확률을 반환하는 Clef와 Clef-flash를 Workers AI 및 공개 가중치로 제공한다. 자유로운 문장 생성 대신 정해진 스키마의 판단을 수행하며 맞춤 학습은 엔지니어와 함께 지원한다. 자체 평가의 속도·품질 차이와 향후 셀프서비스 학습 계획을 구분해 살펴본다.
더덴, ChatGPT로 확장 점포의 서류 준비 단축…심사·승인 성과와 구분
덴버 가족 소셜클럽 더덴은 ChatGPT Work로 자료를 모으고 지원금·주류 면허 신청 준비를 돕는다고 설명했다. 경영진의 주당 10~15시간 절감은 고객 사례의 자체 평가다. 기관의 심사 기간이나 사업 수익 개선을 측정한 결과는 아니다.
OpenAI, 보호된 추론 추출 시도 차단 발표…공격 규모와 귀속의 한계
OpenAI가 7월 관찰한 조직적 모델 추론 추출 활동을 9월 30일 공개했다. 요청 수는 성공한 추출 건수가 아니며 문샷AI 관련 인물에 대한 귀속은 회사의 평가다. 연구 논문을 대조하면 암호화된 추론의 세션 간 재사용과 공개 로그 관리가 별도 보안 과제로 드러난다.
허깅페이스, 자동화 기반 '오픈 TTS 리더보드' 공개… 다국어 음성 합성 객관 지표 제시
허깅페이스가 수주가 걸리던 음성 합성(TTS) 모델 평가를 수 시간 단위로 단축하는 '오픈 TTS 리더보드'를 공개했습니다. 명료도(WER), 화자 유사도, 실시간 지연 시간(TTFA) 등 자동화된 정량 지표를 바탕으로 오픈소스 모델 중심의 객관적 벤치마크 환경을 구축했습니다.
GPT-6.1 Sol 출시, Astra에 가까운 평가 성능과 낮은 토큰 단가의 조건
OpenAI가 GPT-6.1 Sol을 발표하며 코딩·업무 평가의 개선과 Astra보다 낮은 표준 단가를 제시했다. 다만 과제별 비용과 벤치마크 조건은 다르고 사실성 평가는 오류를 유발한 어려운 대화로 구성된다. API 문서의 긴 입력·캐시·속도 모드 요금을 함께 확인했다.
OpenAI, 프론티어 강화학습에 안전 논증 제안…평가·격리·대응을 함께 문서화
OpenAI가 프론티어 강화학습 실행에 앞서 위험과 통제 근거를 구조적으로 제시하는 안전 논증 방향을 공개했다. 학습 평가·환경 격리·감시뿐 아니라 반대 검토, 중단 절차와 사고 조사를 포함한다. 현재 구현 중인 권고이며 외부 인증이나 모든 배포 상황의 안전 입증은 아니다.
허깅페이스, Hub에 강화학습 환경 필터 추가…데이터 공개와 실행은 별도
허깅페이스가 기존 데이터셋 저장소를 강화학습 환경으로 찾는 필터와 프레임워크 태그를 추가했다. Harbor·Verifiers·OpenEnv·NeMo Gym의 로딩 명령을 표시하지만 태그가 파일 형식을 변환하거나 작업을 실행하지는 않는다. 평가 보상의 의미와 실제 학습 업데이트도 각각 구분해야 한다.
엔비디아 AI Day 싱가포르, 공공 연구와 동남아 언어 모델 적용 사례 공개
엔비디아가 싱가포르 AI Day에서 동남아 공공·기업의 AI 개발 사례를 소개했다. HTX의 공공안전 연구, AI Singapore의 지역 언어 모델 공개, Sea의 인프라 도입은 서로 다른 단계다. SEA-LION 논문의 언어 평가 결과와 실제 서비스 운영 효과를 구분해 지역화의 의미와 확인할 조건을 살펴봤다.
영국 AISI·EvalEval, 평가 점수와 실행 조건 공개…재현 가능한 비교 기반 마련
영국 AI Security Institute와 EvalEval이 평가 결과를 Evaluation Cards로 공개하는 협력을 소개했다. 다섯 주요 벤치마크의 여섯 모델 결과와 별도 사이버 평가를 다루며 Every Eval Ever 형식으로 맥락·설정을 연결한다. 연계 논문은 추론 자원과 실행 절차에 따라 점수가 달라지므로 동일 예산·조건 비교가 필요하다고 설명한다.
엔비디아 DSX Ready, 전력·냉각 제품 적합성 절차 공개…현장 전체 인증과 구분
엔비디아가 AI 팩토리의 전력·냉각 제품을 DSX 요구 사항에 맞춰 평가하는 DSX Ready를 발표했다. 출시 때의 대상은 배터리 에너지 저장 시스템과 냉각 분배 장치다. 특정 제품의 적합성 평가이며 업체 전체나 설치 현장의 안정성·안전 인증을 대신하지 않는다. 현재 안내의 냉각액 범주와 초기 발표도 구분했다.
엔비디아 Halos, 물리 AI 안전의 여러 층 설명…검사기관 인정과 제품 인증 구분
엔비디아가 차량·로봇의 하드웨어·소프트웨어·AI 행동·운영 환경을 함께 다루는 Halos의 안전 접근을 설명했다. 공식 기술 자료는 실제 시험과 시뮬레이션·운영 기록으로 안전 주장의 근거를 쌓는 구조다. ANAB의 검사기관 인정은 검사 수행 역량에 관한 것이며 모든 통합 제품의 최종 인증을 뜻하지 않는다.
다시 물어도 성공하는가, IBM이 분리한 에이전트의 평균 성능과 일관성
IBM 연구진은 같은 과제를 반복할 때 모두 성공한 비율을 평균 성공률과 함께 평가했다. 기록의 불안정한 결정에서 지침을 만들어 다음 실행에 쓰는 방식으로 개선을 보고했지만, 안정적인 판단이 정확한 판단과 같지는 않으며 추가 분석 비용과 적용 범위가 남는다.
취향을 보상으로 학습하다, 코드로 수채화를 그리는 공개 실험
허깅페이스가 TRL과 OpenEnv로 코딩 모델의 수채화 표현을 학습한 실험을 공개했다. 모델이 만든 그림을 사람이 골라 참조 자료로 쓰고 보상 구성을 비교한다. 아름다움의 기준과 데이터의 범위, 평가 실패를 구분하는 일이 결과를 어떻게 바꾸는지 살핀다.
미드저니 V8.2, 이미지 미감과 개인화 개선에 초점
미드저니가 7월 24일 V8.2 이미지 모델을 공개하고 미감·품질·개인화 개선을 설명했다. 평가 결과는 정량적으로 공개하지 않았다. 기존 프로필의 호환 범위와 버전 선택 기록을 통해 취향에 맞는 결과와 요구에 맞는 결과를 구분한다.
