리걸온, Codex 하루 비용 추정치 65% 절감… 모델 선택과 예산의 조합
OpenAI가 리걸온의 Codex 비용 관리 사례를 공개했다. 회사는 작업별 모델 선택과 Fast 모드 제한, 사업 단계에 따른 예산 배분으로 하루 비용 추정치를 약 65% 줄였다고 밝혔다. 동일 작업의 독립 벤치마크는 아니며 고객 가치와 기능별 비용을 연결하는 측정 체계는 아직 구축 중이다.
“벤치마크” 검색 결과검색 초기화11편
리퀴드 AI, 엣지용 멀티모달 의사결정 오픈 모델 ‘Open d1’ 공개
리퀴드 AI가 텍스트 생성을 배제하고 단일 연산으로 분류·판단을 수행하는 오픈 가중치 의사결정 모델 ‘Open d1’ 2종을 허깅페이스를 통해 공개했다. 엣지 기기에서 수십 밀리초 단위의 저지연 처리를 목표로 설계되었으나, 작업 범위 제한과 벤치마크 검증 등의 과제도 남아 있다.
점프 트레이딩, 퀀트 리서치에 ChatGPT 도입… 장기 파이프라인 구축과 수치 검증의 한계
글로벌 퀀트 기업 점프 트레이딩이 복수 데이터 소스를 결합한 장기 실행 파이프라인에 대형 언어 모델을 도입했다고 발표했습니다. 다만 공식 사례 연구에는 구체적인 투자 수익률이나 벤치마크 지표가 공개되지 않아 실질적 성과 검증에는 주의가 요구됩니다.
완료 보고 뒤에 숨은 백엔드 오류: MS·허깅페이스의 '씽킹박스' 분석
마이크로소프트와 허깅페이스가 AI 에이전트의 텍스트 답변 대신 백엔드 데이터베이스 상태를 직접 검증하는 벤치마크 '씽킹박스'를 공개했다. 12만 회 이상의 대규모 테스트 결과, 실제 DB 상태 검증에 실패한 시도 중 67.24%가 도구 호출 오류 없이 정상 응답으로 종료된 것으로 나타나 에이전트 신뢰도 검증 방식의 근본적 전환을 요구하고 있다.
Ai2, 과학 보고서 생성 오픈 모델 'AstaBrief 8B' 공개… 속도 개선과 인용 정확도 과제
앨런 인공지능 연구소(Ai2)가 과학 문헌 발췌문을 바탕으로 구조화된 인용 보고서를 신속히 작성하는 오픈 웨이트 모델 'AstaBrief 8B'를 공개했다. 기존 상용 다단계 파이프라인 대비 3.5배 빠른 생성 속도를 보였으나, 외부 벤치마크에서는 인용 정밀도 저하와 의미적 왜곡이라는 기술적 한계가 확인됐다.
MW당 6,000만 달러 시대, 엔비디아가 제시한 AI 팩토리 ROI 3대 프레임워크와 현실적 한계
엔비디아가 메가와트당 약 6,000만 달러에 달하는 대규모 AI 인프라 투자 회수를 설득하기 위해 '생산성·내구성·범용성' 프레임워크를 발표했습니다. 차세대 시스템의 전력당 처리량 대폭 개선과 구형 A100의 9년 장기 운용 사례를 근거로 내세웠으나, 실제 인프라 현장에서는 특정 벤치마크 한계, 데이터센터 전력·냉각 제약, 금융권 담보 인정 격차 등 엄격한 조건들이 공존합니다.
허깅페이스, 자동화 기반 '오픈 TTS 리더보드' 공개… 다국어 음성 합성 객관 지표 제시
허깅페이스가 수주가 걸리던 음성 합성(TTS) 모델 평가를 수 시간 단위로 단축하는 '오픈 TTS 리더보드'를 공개했습니다. 명료도(WER), 화자 유사도, 실시간 지연 시간(TTFA) 등 자동화된 정량 지표를 바탕으로 오픈소스 모델 중심의 객관적 벤치마크 환경을 구축했습니다.
GPT-6.1 Sol 출시, Astra에 가까운 평가 성능과 낮은 토큰 단가의 조건
OpenAI가 GPT-6.1 Sol을 발표하며 코딩·업무 평가의 개선과 Astra보다 낮은 표준 단가를 제시했다. 다만 과제별 비용과 벤치마크 조건은 다르고 사실성 평가는 오류를 유발한 어려운 대화로 구성된다. API 문서의 긴 입력·캐시·속도 모드 요금을 함께 확인했다.
영국 AISI·EvalEval, 평가 점수와 실행 조건 공개…재현 가능한 비교 기반 마련
영국 AI Security Institute와 EvalEval이 평가 결과를 Evaluation Cards로 공개하는 협력을 소개했다. 다섯 주요 벤치마크의 여섯 모델 결과와 별도 사이버 평가를 다루며 Every Eval Ever 형식으로 맥락·설정을 연결한다. 연계 논문은 추론 자원과 실행 절차에 따라 점수가 달라지므로 동일 예산·조건 비교가 필요하다고 설명한다.
tokenizers v1 후보판, 같은 토큰을 더 빠르게 만드는 경로와 측정 조건
허깅페이스가 출력과 API를 유지하며 tokenizers의 처리 경로를 바꾼 v1 후보판을 소개했다. Apple M4 Max의 특정 비교에서 인코딩 성능 개선을 보고했지만 Python 호출 비용과 언어·반복도·전체 모델 처리 시간은 다른 조건이다.
마이크로소프트, 자율 보안 에이전트 시스템 '프로젝트 퍼셉션' 공개
마이크로소프트가 AI 기반 기계 속도 사이버 공격에 대응하는 자율형 에이전트 오케스트레이션 시스템 '프로젝트 퍼셉션'과 자체 보안 특화 소형 모델 'MAI-Cyber-1-Flash'를 공개했다. 기존 방어 루프를 재편하고 비용을 절감하겠다는 구상이지만, 벤치마크 조건과 초기 환경 제약에 대한 면밀한 검증이 필요하다.
