그림 자동채색의 현재 기술

어제 네이버에서 자동채색 서비스를 시작해서 화제가 되고 있는데 사실 자동채색 자체는 예전에도 알을알음 연구되던 분야임

 

 

이건 2016년 ECCV에 Colorful Image Colorization이라는 논문인데, 그림에서 보이듯이 회색 이미지에 자동으로 색을 입혀주는 모델임

 

딥러닝 기반이고, 스케치 이미지에 대해서는 적용 불가능하지만 당시에는 꽤나 인정받은 논문이다.

 

뭐 이게 구체적으로 어떤 원리로 돌아가는지는 설명해봤자 의미가 없을테니 넘어가고, 위 논문을 비롯해서 딥러닝 기반의 자동채색 모델이 다수 나오게 됐는데 그중에는 스케치 이미지를 칼라 이미지로 바꿔주는 모델도 연구되기 시작함.

 

 

아마 누군가는 알고 있을 자동 채색 모델인 Paint Chainer도 한 종류인데, 큰 틀에서보면 Colorful Image Colorization과 유사한 구조를 가지고 있음.

 

다른 점이라면 이거는 스케치/칼라 이미지 쌍으로 학습을 시켰다는 거와 모델 구조가 개선되었다는 것? (+GAN을 도입한 것 정도)

 

어쨌든 그렇게 튀어나온 여러가지 자동채색모델들은 상당한 고성능을 보여줬는데, 위 예서에서 보면 알겠지만 Paint Chainer도 상당히 뛰어난 성능을 보이는걸 볼수 있음

 

다만 그렇다고 해서 자동채색모델이 완벽한 건 아닌데, 현재까지 크게 2개의 문제점이 있다.

 

 

(1) 색칠된 결과가 화사하지 않음

 

위의 Paint Chainer도 그렇고, 이번에 네이버에서 공개한 자동채색 모델에서도 보이는 약점인데

색칠된 결과가 수채화그림마냥 색상이 명료하지가 않거나, 반대로 색상이 너무 명료해서 화사한 그림이 나오지가 않음

 

 

좌측은 네이버 자동채색 서비스로 색칠한 결과, 우측은 원본인데, 이렇게 놓고보면 아직 자동채색은 갈 길이 멀다는게 확 느껴질 거임

 

이게 처음 보는 사람은 잘 모르겠지만, 딥러닝 기반의 자동채색으로 이루어진 일러스트들을 보면 모델은 다 달라도 결과물의 그림체는 다 거기서 거기로 느껴지는데, 바로 이 점에서 기인하는 문제라고 볼 수 있다.

 

아마 이건 네이버측에서도 인지하고 있는거 같고, 그래서 이름을 '일러스트' 채색이 아니라 '웹툰' 채색으로 내지 않았나 싶긴 해

 

그리고 두번째 문제는 뭐냐하면

 

(2) 색칠된 결과가 서로 영역을 침범함

 

위 그림도 네이버 자동채색 예시인데, 잘보면 빨간색 원으로 표시한 부분의 색깔이 노란색으로 잘못 칠해진 걸 볼 수 있음

그 외에도 어깨쪽 피부색이나 몇몇 아쉬운 부분을 볼 수 있지.

 

이것이 바로 색깔침범의 대표적인 예시인데, 딥러닝 기반의 자동채색에서 가장 골치아픈 문제라고 볼수 있다.

물론 사용자가 추가적인 힌트를 더 주면 이런 색깔변조를 줄일 수 있지만, 이왕 자동으로 해주는 거 알아서 다 해주면 더 좋잖아?

 

대충 이렇게 해서 2가지 문제가 남아있다고 보면 됨.

 

어쩌다보니 네이버 자동채색을 까는 글이 되어버렸는데, 그렇다고 해서 네이버 자동채색이 구리다고 하는건 아니야. 개인적으로 몇번 돌려본 결과, 이번에 새로나온 네이버 자동채색은 이러한 색깔 오염침범 측면에서 가장 개선된 모델인 것이라 느꼈음. 결과물 퀄리티도 Paint Chainer에 비하면 훨씬 뛰어난 것같고.

 

사실 네이버 AI랩쪽에서 낸 논문 중에는 이런 색깔침범 문제를 줄이는 걸 주제로 삼은 논문도 있었고, 아마 그걸 이번 모델에도 적용했으리라 보는데, 여튼 그러함.

 

그리고 사실 자동채색쪽도 종류가 상당해서

 

이런 식으로 사용자가 힌트를 지정해주는게 아니라, 그냥 참고할 이미지만 넣어주면 알아서 그 참고할 이미지에 맞춰 채색해주는 모델도 존재함.

 

아예 참고할 이미지 없이 맨땅에서 색칠해주는 모델도 있고.

 

github에 colorization으로 검색해보면 코딩할 줄 아는 십덕들이 꽤 많이 만들어놨으니까 관심있으면 참고해도 좋을 듯?

 

 

아 그리고 지금 네이버 자동채색은 개인정보 수집 이슈가 있어서... 많이 쓰는 건 비추천함

어쩐지 개인정보 수집창 촤르륵 뜨는 거 보고 쎄하다 했다

 

그럼 침범한 부분 수정할때 JPG상태에서 수정해야하는건가 클립스튜디오나 포토샵안에 있는 툴로 수정은 못하는건가

일단 네이버 저거는 채색레이어 선화레이어 구분된 PSD파일을 받을 수 있게 해놨음

 

예전에 그림 아는 분께 기존 자동채색 툴(style2paints 같은거) 평가해달라고 하니까 그럴듯 하게는 하지만 광원이 일정치 않다던가 같은 허벅지인데 피부톤이 다르다던가 하다더라

트위터 보니까 해상도 이슈도 있던데 아마 일반 공개한 툴의 원본 모델은 저해상도에서 돌린 다음 waifu2x류의 후처리 툴로 해상도를 뻥튀기 시키지 않나 싶음. 고해상도 모델은 내부 작가들 사이에서만 활용하고 저해상도 모델을 대중 공개해서 line art 데이터를 모으는게 아닐까 싶네

아무래도 네이버 웹툰 쪽에서 만든거니까 웹툰 스타일에 맞는 평면적 채색 위주 모델인것 같은데 22년에 공개된다는 style2paints V5가 광원처리를 추가한 프로덕션 레벨 툴을 공개한다고 하니까 기대중임