취향을 보상으로 학습하다, 코드로 수채화를 그리는 공개 실험

한눈에 보는 핵심요약

허깅페이스가 TRL과 OpenEnv로 코딩 모델의 수채화 표현을 학습한 실험을 공개했다. 모델이 만든 그림을 사람이 골라 참조 자료로 쓰고 보상 구성을 비교한다. 아름다움의 기준과 데이터의 범위, 평가 실패를 구분하는 일이 결과를 어떻게 바꾸는지 살핀다.

모델은 p5.brush 자바스크립트를 출력하며 물리적인 붓을 움직이지 않는다.
178점 참조 풀은 모델의 생성물을 사람이 두 단계로 분류한 자료다.
미감 점수와 실행 실패, 같은 코드와 같은 렌더링 결과를 구분해야 한다.

취향을 보상으로 학습하다, 코드로 수채화를 그리는 공개 실험 — 이미지 제공: Hugging Face · 원출처 기사

이미지 대신 그림을 만드는 코드를 출력한다

허깅페이스의 Sergio Paniego는 2026년 9월 3일 코딩 모델이 수채화처럼 보이는 이미지를 만들도록 학습한 공개 실험을 소개했다. Surya Narreddi의 아이디어를 바탕으로 TRL과 OpenEnv를 이용해 별도 구현을 구성한 작업이다. 원 아이디어와 이번 공개 구현의 기여를 구분해 설명한다.

모델은 p5.brush 라이브러리를 호출하는 자바스크립트 코드를 출력하고 렌더러가 그 코드를 이미지로 만든다. 물감 번짐과 질감은 라이브러리의 기능에 연결된다. 모델이 실제 종이에 붓을 움직이는 로봇 실험은 아니다. 제한된 그리기 메서드를 허용해 표현의 범위를 정하고 실행·출력의 기본 조건을 평가한다.

허깅페이스의 코드 수채화 학습 실험 원문

사람이 고른 참조 자료가 미감의 기준이다

공개 참조 풀에는 모델이 만든 그림 178점과 각 그림을 만든 자바스크립트가 들어 있다. 데이터셋은 작성자가 더 선호한 love 82점과 okay 96점으로 나눈다. 꽃 사진을 참고해 생성한 결과를 사람이 선택한 자료이며 사람이 손으로 그린 수채화 작품의 모음은 아니다.

평가에서는 새 그림을 풀에서 고른 참조와 비교하고, 선호 모델의 점수와 기본 실행 조건 등을 함께 사용한다. 이때 참조 자료를 바꾸면 학습이 지향하는 표현도 달라질 수 있다. 데이터셋은 p5.brush가 무작위성을 사용하므로 소스 코드를 다시 실행해도 동일한 그림이 나오지 않는다고 명시한다. 그래서 이미지 파일과 코드를 함께 제공한다.

공개된 수채화 참조 데이터셋과 제작·재현 조건 허깅페이스의 코드 수채화 학습 실험 원문

보상 구성과 실행 실패를 구분한 비교

작성자는 참조 비교 모델과 선호 모델의 비중을 달리한 세 학습을 비교했다. 일부 실행은 60단계, 두 비교 실행은 110단계에서 멈췄으며 점수의 변화와 그림을 함께 공개했다. 결과의 의미는 해당 참조 풀과 평가 설정에서 읽어야 한다. 보상이 올랐다는 사실을 모든 사람이 작품을 더 좋아한다는 평가로 바꿀 수는 없다.

원문은 렌더링 시간 초과와 평가 서버의 응답 실패가 나쁜 그림과 같은 0점으로 들어가던 문제를 설명한다. 작성자는 이런 실행을 평가 그룹에서 제외하도록 바꿨다. 운영 실패와 표현의 평가를 나누는 수정이다. 공개된 비교는 작성자의 실험 보고이며 ARCH.B가 학습을 재실행해 검증한 결과는 아니다.

허깅페이스의 코드 수채화 학습 실험 원문

ARCH.B 분석

취향의 기준을 볼 수 있다는 변화

ARCH.B는 취향을 숫자로 평가하는 과정에서 참조 자료를 공개했다는 점에 주목한다. 점수가 높다는 설명만 있으면 무엇을 아름답다고 보았는지 알기 어렵다. 선택한 그림과 그 분류를 볼 수 있으면 독자는 기준에 동의하는지부터 판단할 수 있다. 좋은 그림을 평가하는 일과 특정 참조에 가까운 그림을 평가하는 일이 서로 다를 수 있기 때문이다.

같은 꽃을 중심으로 만든 풀은 표현을 좁게 탐구하기에는 유용하지만 다른 주제와 구도를 충분히 다루는 자료라고 볼 수는 없다. 새로운 표현을 원한다면 모델의 학습 단계만 늘리는 것이 아니라 어떤 대상을 비교의 기준에 넣을지도 다시 결정해야 한다. 데이터의 큐레이션은 계산 전의 준비에 머무르지 않고 학습이 무엇을 선호할지 정하는 작업이 된다.

허깅페이스의 코드 수채화 학습 실험 원문 공개된 수채화 참조 데이터셋과 제작·재현 조건

ARCH.B 분석

그림과 코드를 함께 보존하는 이유

코드가 출력이면 제작자는 색과 도형, 번짐을 만든 호출을 읽고 바꿀 수 있다. 완성 이미지에 대한 감상과 표현을 만드는 절차의 검토가 함께 가능해지는 구조다. 그러나 무작위성이 포함된 렌더링에서는 같은 코드가 같은 결과를 보장하지 않는다. 생성된 이미지와 실행 조건을 함께 남겨야 어떤 장면을 평가했는지 비교할 수 있다.

실행이 실패했을 때 낮은 미감 점수를 주지 않는 수정도 같은 맥락이다. 모델이 만든 것이 무엇인지 확인하지 못한 상황과 실제로 평가한 결과를 나누어야 비교가 의미를 갖는다. 생성된 한 장의 인상뿐 아니라 어떤 자료와 평가 경로를 거쳤는지를 기록하는 일이 이 공개 실험을 읽는 핵심이다.

허깅페이스의 코드 수채화 학습 실험 원문 공개된 수채화 참조 데이터셋과 제작·재현 조건