Update README.md

README.md

@@ -12,13 +12,23 @@ NFKD 정규화를 하면 한국어 외 다른 언어 토크나이징에 영향
 
 Text: `모든 인간은 태어날 때부터 자유로우며 그 존엄과 권리에 있어 동등하다. 인간은 천부적으로 이성과 양심을 부여받았으며 서로 형제애의 정신으로 행동하여야 한다.`
 
-phi4: 85 (0.00% more effective than phi-4) (�|�|든| 인|간|은| �|�|어|�|�| 때|부|터| 자|�|�|로|우|�|�| 그| �|��|�|�|과| �|�|�|리|에| 있|어| �|�|�|�|하|다|.| 인|간|은| �|�|부|적|으로| 이|성|과| �|�|�|�|을| 부|여|�|�|�|�|으|�|�| 서|로| �|�|제|�|�|의| 정|신|으로| �|��|동|하여|야| 한|다|.)
+phi4: 85 (0.00% more effective than phi-4)
+�|�|든| 인|간|은| �|�|어|�|�| 때|부|터| 자|�|�|로|우|�|�| 그| �|��|�|�|과| �|�|�|리|에| 있|어| �|�|�|�|하|다|.| 인|간|은| �|�|부|적|으로| 이|성|과| �|�|�|�|을| 부|여|�|�|�|�|으|�|�| 서|로| �|�|제|�|�|의| 정|신|으로| �|��|동|하여|야| 한|다|.
 
-phi4-mini-jamo: 39 (117.95% more effective than phi-4) (모든| 인간은| 태어나|ᆯ 때|부터| 자유|로우|며| 그| 존|엄|과| 권리|에 있어| 동|등|하다|.| 인간은| 천|부|적으로| 이|성과| 양|심을| 부여|받아|ᆻ으며| 서로| 형제|애|의 정|신|으로| 행동|하여|야 한다|.)
+phi4-jamo: 39 (117.95% more effective than phi-4)
+모든| 인간은| 태어나|ᆯ 때|부터| 자유|로우|며| 그| 존|엄|과| 권리|에 있어| 동|등|하다|.| 인간은| 천|부|적으로| 이|성과| 양|심을| 부여|받아|ᆻ으며| 서로| 형제|애|의 정|신|으로| 행동|하여|야 한다|.
 
-phi4-jamo: 39 (117.95% more effective than phi-4) (모든| 인간은| 태어나|ᆯ 때|부터| 자유|로우|며| 그| 존|엄|과| 권리|에 있어| 동|등|하다|.| 인간은| 천|부|적으로| 이|성과| 양|심을| 부여|받아|ᆻ으며| 서로| 형제|애|의 정|신|으로| 행동|하여|야 한다|.)
+phi4-mini: 51 (66.67% more effective than phi-4)
+모|든| 인간|은| 태|어|날| 때|부터| 자유|로|우|며| 그| 존|엄|과| 권|리에| 있어| 동|등|하다|.| 인간|은| 천|부|적으로| 이|성과| 양|심|을| 부|여|받|았|으며| 서로| 형|제|애|의| 정신|으로| 행동|하여|야| 한다|.
 
-jamo-exp1: 39 (117.95% more effective than phi-4) (모든|인간은|태어나|ᆯ 때|부터|자유|로우|며|그|존|엄|과|권리|에 있어|동|등|하다|.|인간은|천|부|적으로|이|성과|양|심을|부여|받아|ᆻ으며|서로|형제|애|의 정|신|으로|행동|하여|야 한다|.)
+phi4-mini-jamo: 39 (117.95% more effective than phi-4)
+모든| 인간은| 태어나|ᆯ 때|부터| 자유|로우|며| 그| 존|엄|과| 권리|에 있어| 동|등|하다|.| 인간은| 천|부|적으로| 이|성과| 양|심을| 부여|받아|ᆻ으며| 서로| 형제|애|의 정|신|으로| 행동|하여|야 한다|.
+
+jamo-exp1: 39 (117.95% more effective than phi-4)
+모든|인간은|태어나|ᆯ 때|부터|자유|로우|며|그|존|엄|과|권리|에 있어|동|등|하다|.|인간은|천|부|적으로|이|성과|양|심을|부여|받아|ᆻ으며|서로|형제|애|의 정|신|으로|행동|하여|야 한다|.
+
+gpt-4o: 51 (66.67% more effective than phi-4)
+모|든| 인간|은| 태|어|날| 때|부��| 자유|로|우|며| 그| 존|엄|과| 권|리에| 있어| 동|등|하다|.| 인간|은| 천|부|적으로| 이|성과| 양|심|을| 부|여|받|았|으며| 서로| 형|제|애|의| 정신|으로| 행동|하여|야| 한다|.
 
 Text:
 ```
@@ -36,7 +46,8 @@ PyTorch, TensorFlow, JAX를 위한 최첨단 머신러닝
 커뮤니티에 참여하시려면 Hub, 포럼, 디스코드를 방문해주세요!
 ```
 <details> <summary>토큰 단위 결과</summary>
-phi4: 540 (0.00% more effective than phi-4) (Py|T|orch|,| TensorFlow|,| J|AX|를| 위|한| 최|�|�|�|�| �|�|�|신|러|�|�|
+phi4: 540 (0.00% more effective than phi-4)
+Py|T|orch|,| TensorFlow|,| J|AX|를| 위|한| 최|�|�|�|�| �|�|�|신|러|�|�|
 
 |�|�|�| Transformers|는| 사|전|�|�|습|된| 최|�|�|�|�| 모|�|�|들|을| �|�|�|게| 다|운|로|드|하|고| �|�|�|�|�|시|�|��| 수| 있는| API|와| �|�|구|를| 제|공|합니다|.| 사|전|�|�|습|된| 모|�|�|을| �|�|�|면| �|�|�|�|�|�|�| 비|용|과| �|�|소| 배|출|�|�|이| �|�|고|,| 모|�|�|을| 처|음|부|터| �|�|�|�|�|시|�|��|는| �|��| 필|요|한| 시|간|과| 리|소|스|를| �|�|�|�|할| 수| 있|습니다|.| �|�|�|�|�| 모|�|�|들|은| 다|�|�|한| �|�|야|의| �|�|스|크|를| 지|원|합니다|.
 
@@ -47,35 +58,52 @@ phi4: 540 (0.00% more effective than phi-4) (Py|T|orch|,| TensorFlow|,| J|AX|를
 
 |�|�|�| Transformers|는| Py|T|orch|,| TensorFlow|와| J|AX| �|�|의| 상|호|운|용|성|을| 지|원|합니다|.| �|�|�|�|하|게| 모|�|�|의| �|�| �|�|�|�|�|�다| 다|른| 프|�|�|임|�|�|크|를| 사용|할| 수|도| 있|습니다|.| 예|를| �|�|어| 코드| |3|�|�|만| �|�|�|서| 모|�|�|을| �|�|�|�|�|시|�|��| 다|음|,| 다|른| 프|�|�|임|�|�|크| 상|에서| 추|�|�|할| 수| 있|습니다|.| 모|�|�|을| �|�|�|�| �|�|경|에| 배|�|�|�|하기| 위|해| ON|NX|나| Torch|Script| �|�|식|으로| 내|보|�|�| 수|도| 있|습니다|.
 
-|�|�|�|�|�|�|니|�|�|�|에| �|�|여|하|시|�|�|면| Hub|,| 포|�|�|,| �|�|스|�|��드|를| 방|문|해|주세요|!)
-
-phi4-mini-jamo: 305 (77.05% more effective than phi-4) (Py|T|orch|,| |Tensor|Flow|,| |J|AX|를| 위한| 최|첨|단| 머|신|러|닝|
+|�|�|�|�|�|�|니|�|�|�|에| �|�|여|하|시|�|�|면| Hub|,| 포|�|�|,| �|�|스|�|��드|를| 방|문|해|주세요|!
 
-|�|�|�| |Transform|ers|는| 사전|학습|된| 최|첨|단| 모델|들을| 쉽게| 다|운|로드|하고| 훈련|시키|ᆯ 수 있는| |API|와| 도|구를| 제공합니다|.| 사전|학습|된| 모델을| 쓰|면| ᄏ|ᅥᆷ퓨|팅| 비용|과| 탄소| 배출|량이| 줄|고|,| 모델을| 처음|부터| 훈련|시키는 데| 필요한| 시간과| 리|소|스를| 절|약하|ᆯ 수 있습니다|.| 저|희| 모델|들은| 다양한| 분야|의| 태|스크|를| 지원|합니다|.
+phi4-jamo: 291 (85.57% more effective than phi-4)
+Py|T|orch|,| TensorFlow|,| J|AX|를| 위한| 최|첨|단| 머|신|러|닝|
+|
+|�|�|�| Transformers|는| 사전|학습|된| 최|첨|단| 모델|들을| 쉽게| 다|운|로드|하고| 훈련|시키|ᆯ 수 있는| API|와| 도|구를| 제공합니다|.| 사전|학습|된| 모델을| 쓰|면| ᄏ|ᅥᆷ퓨|팅| 비용|과| 탄소| 배출|량이| 줄|고|,| 모델을| 처음|부터| 훈련|시키는 데| 필요한| 시간과| 리|소|스를| 절|약하|ᆯ 수 있습니다|.| 저|희| 모델|들은| 다양한| 분야|의| 태|스크|를| 지원|합니다|.
 
 |�|�|�| 자연|어| 처리|:| 텍|스트| 분류|,| 개|체|명| 인식|,| 질의|응답|,| 언어| 모데|ᆯ링|,| 요약|,| 버��|역|,| 객|관|식| 질의|응답|,| 텍|스트| 생성|
 |�|�|�|️| 컴퓨터| 비|전|:| 이미지| 분류|,| 객|체| 탐|지|,| 객|체| 분|할|
 |�|�|�|️| 오|디오|:| 자동|음성|인식|,| 오|디오| 분류|
 |�|�|�| 멀티|모|달|:| 표| 질의|응답|,| 광학| 문자| 인식| |(|OCR|),| 스|캐|ᆫ|한| 문|서|에서| 정보| 추출|,| 비디오| 분류|,| 시각| 질의|응답|
+|
+|�|�|�| Transformers|는| Py|T|orch|,| TensorFlow|와| J|AX| 간|의 상호|운용|성을| 지원|합니다|.| 유연|하게| 모데|ᆯ의| 각| 단계|마다| 다른| 프레임|워크|를 사용|할 수도| 있습니다|.| 예를 들어| 코드| |3|줄|만| 써|서| 모델을| 훈련|시킨| 다음|,| 다른| 프레임|워크| 상에서| 추|론|할 수 있|습니다|.| 모델을| 운영| 환경|에| 배|포|하기 위해| ON|NX|나| Torch|Script| 형|식으로| 내|보내|ᆯ 수도| 있습니다|.
 
-|�|�|�| |Transform|ers|는| |Py|T|orch|,| |Tensor|Flow|와| |J|AX| 간|의 상호|운용|성을| 지원|합니다|.| 유연|하게| 모데|ᆯ의| 각| 단계|마다| 다른| 프레임|워크|를 사용|할 수도| 있습니다|.| 예를 들어| 코드| |3|줄|만| 써|서| 모델을| 훈련|시킨| 다음|,| 다른| 프레임|워크| 상에서| 추|론|할 수 있|습니다|.| 모델을| 운영| 환경|에| 배|포|하기 위해| |ON|NX|나| |T|orch|Script| 형|식으로| 내|보내|ᆯ 수도| 있습니다|.
+|커뮤니티|에 참여|하시|려면| Hub|,| 포|럼|,| 디|스코|드를| 방문|해주|세요|!
 
-|커뮤니티|에 참여|하시|려면| |Hub|,| 포|럼|,| 디|스코|드를| 방문|해주|세요|!)
+phi4-mini: 353 (52.97% more effective than phi-4)
+Py|Torch|,| Tensor|Flow|,| J|AX|를| 위한| 최|첨|단| 머신|러|닝|
 
-phi4-jamo: 305 (77.05% more effective than phi-4) (Py|T|orch|,| |Tensor|Flow|,| |J|AX|를| 위한| 최|첨|단| 머|신|러|닝|
+|�|�| Transformers|는| 사|전|학|습|된| 최|첨|단| 모델|들을| 쉽게| 다운로드|하고| �|��|련|시|킬| 수| 있는| API|와| 도|구|를| 제공합니다|.| 사|전|학|습|된| 모델|을| 쓰|면| 컴|퓨|팅| 비용|과| 탄|소| 배|출|량|이| 줄|고|,| 모델|을| 처음|부터| �|��|련|시키|는| 데| 필요한| 시간|과| 리|소|스를| 절|약|할| 수| 있습니다|.| 저|희| 모델|들은| 다양한| 분야|의| 태|스크|를| 지원|합니다|.
 
-|�|�|�| |Transform|ers|는| 사전|학습|된| 최|첨|단| 모델|들을| 쉽게| 다|운|로드|하고| 훈련|시키|ᆯ 수 있는| |API|와| 도|구를| 제공합니다|.| 사전|학습|된| 모델을| 쓰|면| ᄏ|ᅥᆷ퓨|팅| 비용|과| 탄소| 배출|량이| 줄|고|,| 모델을| 처음|부터| 훈련|시키는 데| 필요한| 시간과| 리|소|스를| 절|약하|ᆯ 수 있습니다|.| 저|희| 모델|들은| 다양한| 분야|의| 태|스크|를| 지원|합니다|.
+|�|��| 자연|어| 처리|:| �|�|스트| 분|류|,| 개|체|명| 인|식|,| 질|의|응|답|,| 언|어| 모델|링|,| 요|약|,| 번|역|,| 객|관|식| 질|의|응|답|,| �|�|스트| 생성|
+|�|�|�|️| 컴|퓨터| 비|전|:| 이미지| 분|류|,| 객체| 탐|지|,| 객체| 분|할|
+|�|�|�|️| 오|디오|:| 자동|음|성|인|식|,| 오|디오| 분|류|
+|�|�| �|�|티|모|달|:| 표| 질|의|응|답|,| 광|학| 문자| 인|식| (|OCR|),| 스|�|�|한| 문|서|에서| 정보| 추|출|,| 비|디오| 분|류|,| 시|각| 질|의|응|답|
 
-|�|�|�| 자연|어| 처리|:| 텍|스트| 분류|,| 개|체|명| 인식|,| 질의|응답|,| 언어| 모데|ᆯ링|,| 요약|,| 번|역|,| 객|관|식| 질의|응답|,| 텍|스트| 생성|
+|�|�| Transformers|는| Py|Torch|,| Tensor|Flow|와| J|AX| 간|의| 상|호|운|용|성을| 지원|합니다|.| 유|연|하게| 모델|의| 각| 단계|마다| 다른| 프|레|임|워크|를| 사용할| 수도| 있습니다|.| 예|를| 들어| 코드| |3|줄|만| �|�|서| 모델|을| �|��|련|시|킨| 다음|,| 다른| 프|레|임|워크| 상|에서| 추|론|할| 수| 있습니다|.| 모델|을| 운영| 환경|에| 배|포|하기| 위해| ON|NX|나| Torch|Script| 형|식|으로| 내|보|낼| 수도| 있습니다|.
+
+|커|뮤니|티|에| 참여|하시|려|면| Hub|,| 포|럼|,| 디|스|코|드를| 방문|해주세요|!
+
+phi4-mini-jamo: 287 (88.15% more effective than phi-4)
+Py|Torch|,| Tensor|Flow|,| J|AX|를| 위한| 최|첨|단| 머|신|러|닝|
+|
+|�|�| Transformers|는| 사전|학습|된| 최|첨|단| 모델|들을| 쉽게| 다|운|로드|하고| 훈련|시키|ᆯ 수 있는| API|와| 도|구를| 제공합니다|.| 사전|학습|된| 모델을| 쓰|면| ᄏ|ᅥᆷ퓨|팅| 비용|과| 탄소| 배출|량이| 줄|고|,| 모델을| 처음|부터| 훈련|시키는 데| 필요한| 시간과| 리|소|스를| 절|약하|ᆯ 수 있습니다|.| 저|희| 모델|들은| 다양한| 분야|의| 태|스크|를| 지원|합니다|.
+
+|�|��| 자연|어| 처리|:| 텍|스트| 분류|,| 개|체|명| 인식|,| 질의|응답|,| 언어| 모데|ᆯ링|,| 요약|,| 번|역|,| 객|관|식| 질의|응답|,| 텍|스트| 생성|
 |�|�|�|️| 컴퓨터| 비|전|:| 이미지| 분류|,| 객|체| 탐|지|,| 객|체| 분|할|
 |�|�|�|️| 오|디오|:| 자동|음성|인식|,| 오|디오| 분류|
-|�|�|�| 멀티|모|달|:| 표| 질의|응답|,| 광학| 문자| 인식| |(|OCR|),| 스|캐|ᆫ|한| 문|서|에서| 정보| 추출|,| 비디오| 분류|,| 시각| 질의|응답|
-
-|�|�|�| |Transform|ers|는| |Py|T|orch|,| |Tensor|Flow|와| |J|AX| 간|의 상호|운용|성을| 지원|합니다|.| 유연|하게| 모데|ᆯ의| 각| 단계|마다| 다른| 프레임|워크|를 사용|할 수도| 있습니다|.| 예를 들어| 코드| |3|줄|만| 써|서| 모델을| 훈련|시킨| 다음|,| 다른| 프레임|워크| 상에서| 추|론|할 수 있|습니다|.| 모델을| 운영| 환경|에| 배|포|하기 위해| |ON|NX|나| |T|orch|Script| 형|식으로| 내|보내|ᆯ 수도| 있습니다|.
+|�|�| 멀티|모|달|:| 표| 질의|응답|,| 광학| 문자| 인식| |(O|CR|),| 스|캐|ᆫ|한| 문|서|에서| 정보| 추출|,| 비디오| 분류|,| 시각| 질의|응답|
+|
+|�|�| Transformers|는| Py|Torch|,| Tensor|Flow|와| J|AX| 간|의 상호|��ᅮᆫ용|성을| 지원|합니다|.| 유연|하게| 모데|ᆯ의| 각| 단계|마다| 다른| 프레임|워크|를 사용|할 수도| 있습니다|.| 예를 들어| 코드| |3|줄|만| 써|서| 모델을| 훈련|시킨| 다음|,| 다른| 프레임|워크| 상에서| 추|론|할 수 있|습니다|.| 모델을| 운영| 환경|에| 배|포|하기 위해| ON|NX|나| Torch|Script| 형|식으로| 내|보내|ᆯ 수도| 있습니다|.
 
-|커뮤니티|에 참여|하시|려면| |Hub|,| 포|럼|,| 디|스코|드를| 방문|해주|세요|!)
+|커뮤니티|에 참여|하시|려면| Hub|,| 포|럼|,| 디|스코|드를| 방문|해주|세요|!
 
-jamo-exp1: 345 (56.52% more effective than phi-4) (P|y|T|or|ch|,|T|en|s|or|F|lo|w|,|J|A|X|를 위한|최|첨|단|머|신|러|닝|
+jamo-exp1: 345 (56.52% more effective than phi-4)
+P|y|T|or|ch|,|T|en|s|or|F|lo|w|,|J|A|X|를 위한|최|첨|단|머|신|러|닝|
 |
 |�|�|�|�|T|r|an|s|for|m|ers|는 사|전|학습|된|최|첨|단|모델|들을|쉽게|다|운|로드|하고|훈련|시키|ᆯ 수 있는|AP|I|와|도|구를|제공합니다|.|사전|학습|된|모델을|쓰|면|ᄏ|ᅥᆷ퓨|팅|비용|과|탄소|배출|량이|줄|고|,|모델을|처음|부터|훈련|시키는 데|필요한|시간과|리|소|스를|절|약하|ᆯ 수 있습니다|.|저|희|모델|들은|다양한|분야|의|태|스크|를|지원|합니다|.|
 |
@@ -86,24 +114,146 @@ jamo-exp1: 345 (56.52% more effective than phi-4) (P|y|T|or|ch|,|T|en|s|or|F|lo|
 |
 |�|�|�|�|T|r|an|s|for|m|ers|는|P|y|T|or|ch|,|T|en|s|or|F|lo|w|와|J|A|X|간|의 상호|운용|성을|지원|합니다|.|유연|하게|모데|ᆯ의|각|단계|마다|다른|프레임|워크|를 사용|할 수도|있습니다|.|예를 들어|코드||3|줄|만|써|서|모델을|훈련|시킨|다음|,|다른|프레임|워크|상에서|추|론|할 수 있|습니다|.|모델을|운영|환경|에|배|포|하기 위해|ON|N|X|나|T|or|ch|S|c|ri|p|t|형|식으로|내|보내|ᆯ 수도|있습니다|.|
 |
-|커뮤니티|에 참여|하시|려면|H|ub|,|포|럼|,|디|스코|드를|방문|해주|세요|!)</details>
+|커뮤니티|에 참여|하시|려면|H|ub|,|포|럼|,|디|스코|드를|방문|해주|세요|!
+
+gpt-4o: 353 (52.97% more effective than phi-4)
+Py|Torch|,| Tensor|Flow|,| J|AX|를| 위한| 최|첨|단| 머신|러|닝|
+
+|�|�| Transformers|는| 사|전|학|습|된| 최|첨|단| 모델|들을| 쉽게| 다운로드|하고| �|��|련|시|킬| 수| 있는| API|와| 도|구|를| 제공합니다|.| 사|전|학|습|된| 모델|을| 쓰|면| 컴|퓨|팅| 비용|과| 탄|소| 배|출|량|이| 줄|고|,| 모델|을| 처음|부터| �|��|련|시키|는| 데| 필요한| 시간|과| 리|소|스를| 절|약|할| 수| 있습니다|.| 저|희| 모델|들은| 다양한| 분야|의| 태|스크|를| 지원|합니다|.
+
+|�|��| 자연|어| 처리|:| �|�|스트| 분|류|,| 개|체|명| 인|식|,| 질|의|응|답|,| 언|어| 모델|링|,| 요|약|,| 번|역|,| 객|관|식| 질|의|응|답|,| �|�|스트| 생성|
+|�|�|�|️| 컴|퓨터| 비|전|:| 이미지| 분|류|,| 객체| 탐|지|,| 객체| 분|할|
+|�|�|�|️| 오|디오|:| 자동|음|성|인|식|,| 오|디오| 분|류|
+|�|�| �|�|티|모|달|:| 표| 질|의|응|답|,| 광|학| 문자| 인|식| (|OCR|),| 스|�|�|한| 문|서|에서| 정보| 추|출|,| 비|디오| 분|류|,| 시|각| 질|의|응|답|
+
+|�|�| Transformers|는| Py|Torch|,| Tensor|Flow|와| J|AX| 간|의| 상|호|운|용|성을| 지원|합니다|.| 유|연|하게| 모델|의| 각| 단계|마다| 다른| 프|레|임|워크|를| 사용할| 수도| 있습니다|.| 예|를| 들어| 코드| |3|줄|만| �|�|서| 모델|을| �|��|련|시|킨| 다음|,| 다른| 프|레|임|워크| 상|에서| 추|론|할| 수| 있습니다|.| 모델|을| 운영| 환경|에| 배|포|하기| 위해| ON|NX|나| Torch|Script| 형|식|으로| 내|보|낼| 수도| 있습니다|.
+
+|커|뮤니|티|에| 참여|하시|려|면| Hub|,| 포|럼|,| 디|스|코|드를| 방문|해주세요|!</details>
 
 phi4: 540 (0.00% more effective than phi-4)
 
-phi4-mini-jamo: 305 (77.05% more effective than phi-4)
+phi4-jamo: 291 (85.57% more effective than phi-4)
 
-phi4-jamo: 305 (77.05% more effective than phi-4)
+phi4-mini: 353 (52.97% more effective than phi-4)
+
+phi4-mini-jamo: 287 (88.15% more effective than phi-4)
 
 jamo-exp1: 345 (56.52% more effective than phi-4)
 
+gpt-4o: 353 (52.97% more effective than phi-4)
+
 **다국어 예시**: 원래 토크나이저와 동일
 
-Text: Zoë
+Text:
+```
+State-of-the-art Machine Learning for PyTorch, TensorFlow, and JAX.
+
+🤗 Transformers provides APIs and tools to easily download and train state-of-the-art pretrained models. Using pretrained models can reduce your compute costs, carbon footprint, and save you the time and resources required to train a model from scratch. These models support common tasks in different modalities, such as:
+
+📝 Natural Language Processing: text classification, named entity recognition, question answering, language modeling, code generation, summarization, translation, multiple choice, and text generation.
+🖼️ Computer Vision: image classification, object detection, and segmentation.
+🗣️ Audio: automatic speech recognition and audio classification.
+🐙 Multimodal: table question answering, optical character recognition, information extraction from scanned documents, video classification, and visual question answering.
+
+🤗 Transformers support framework interoperability between PyTorch, TensorFlow, and JAX. This provides the flexibility to use a different framework at each stage of a model’s life; train a model in three lines of code in one framework, and load it for inference in another. Models can also be exported to a format like ONNX and TorchScript for deployment in production environments.
+
+Join the growing community on the Hub, forum, or Discord today!
+```
+
+<details> <summary>토큰 단위 결과</summary>
+phi4: 261 (0.00% more effective than phi-4)
+State|-of|-the|-art| Machine| Learning| for| Py|T|orch|,| TensorFlow|,| and| J|AX|.
+
+|�|�|�| Transformers| provides| APIs| and| tools| to| easily| download| and| train| state|-of|-the|-art| pretrained| models|.| Using| pretrained| models| can| reduce| your| compute| costs|,| carbon| footprint|,| and| save| you| the| time| and| resources| required| to| train| a| model| from| scratch|.| These| models| support| common| tasks| in| different| modal|ities|,| such| as|:
+
+|�|�|�| Natural| Language| Processing|:| text| classification|,| named| entity| recognition|,| question| answering|,| language| modeling|,| code| generation|,| summar|ization|,| translation|,| multiple| choice|,| and| text| generation|.
+|�|�|�|️| Computer| Vision|:| image| classification|,| object| detection|,| and| segmentation|.
+|�|�|�|️| Audio|:| automatic| speech| recognition| and| audio| classification|.
+|�|�|�| Mult|im|odal|:| table| question| answering|,| optical| character| recognition|,| information| extraction| from| scanned| documents|,| video| classification|,| and| visual| question| answering|.
+
+|�|�|�| Transformers| support| framework| interoper|ability| between| Py|T|orch|,| TensorFlow|,| and| J|AX|.| This| provides| the| flexibility| to| use| a| different| framework| at| each| stage| of| a| model|’s| life|;| train| a| model| in| three| lines| of| code| in| one| framework|,| and| load| it| for| inference| in| another|.| Models| can| also| be| exported| to| a| format| like| ON|NX| and| Torch|Script| for| deployment| in| production| environments|.
+
+|Join| the| growing| community| on| the| Hub|,| forum|,| or| Discord| today|!
+
+phi4-jamo: 261 (0.00% more effective than phi-4)
+State|-of|-the|-art| Machine| Learning| for| Py|T|orch|,| TensorFlow|,| and| J|AX|.
+
+|�|�|�| Transformers| provides| APIs| and| tools| to| easily| download| and| train| state|-of|-the|-art| pretrained| models|.| Using| pretrained| models| can| reduce| your| compute| costs|,| carbon| footprint|,| and| save| you| the| time| and| resources| required| to| train| a| model| from| scratch|.| These| models| support| common| tasks| in| different| modal|ities|,| such| as|:
+
+|�|�|�| Natural| Language| Processing|:| text| classification|,| named| entity| recognition|,| question| answering|,| language| modeling|,| code| generation|,| summar|ization|,| translation|,| multiple| choice|,| and| text| generation|.
+|�|�|�|️| Computer| Vision|:| image| classification|,| object| detection|,| and| segmentation|.
+|�|�|�|️| Audio|:| automatic| speech| recognition| and| audio| classification|.
+|�|�|�| Mult|im|odal|:| table| question| answering|,| optical| character| recognition|,| information| extraction| from| scanned| documents|,| video| classification|,| and| visual| question| answering|.
+
+|�|�|�| Transformers| support| framework| interoper|ability| between| Py|T|orch|,| TensorFlow|,| and| J|AX|.| This| provides| the| flexibility| to| use| a| different| framework| at| each| stage| of| a| model|’s| life|;| train| a| model| in| three| lines| of| code| in| one| framework|,| and| load| it| for| inference| in| another|.| Models| can| also| be| exported| to| a| format| like| ON|NX| and| Torch|Script| for| deployment| in| production| environments|.
+
+|Join| the| growing| community| on| the| Hub|,| forum|,| or| Discord| today|!
+
+phi4-mini: 255 (2.35% more effective than phi-4)
+State|-of|-the|-art| Machine| Learning| for| Py|Torch|,| Tensor|Flow|,| and| J|AX|.
+
+|�|�| Transformers| provides| APIs| and| tools| to| easily| download| and| train| state|-of|-the|-art| pretrained| models|.| Using| pretrained| models| can| reduce| your| compute| costs|,| carbon| footprint|,| and| save| you| the| time| and| resources| required| to| train| a| model| from| scratch|.| These| models| support| common| tasks| in| different| modalities|,| such| as|:
+
+|�|��| Natural| Language| Processing|:| text| classification|,| named| entity| recognition|,| question| answering|,| language| modeling|,| code| generation|,| summar|ization|,| translation|,| multiple| choice|,| and| text| generation|.
+|�|�|�|️| Computer| Vision|:| image| classification|,| object| detection|,| and| segmentation|.
+|�|�|�|️| Audio|:| automatic| speech| recognition| and| audio| classification|.
+|�|�| Mult|im|odal|:| table| question| answering|,| optical| character| recognition|,| information| extraction| from| scanned| documents|,| video| classification|,| and| visual| question| answering|.
+
+|�|�| Transformers| support| framework| interoperability| between| Py|Torch|,| Tensor|Flow|,| and| J|AX|.| This| provides| the| flexibility| to| use| a| different| framework| at| each| stage| of| a| model|’s| life|;| train| a| model| in| three| lines| of| code| in| one| framework|,| and| load| it| for| inference| in| another|.| Models| can| also| be| exported| to| a| format| like| ON|NX| and| Torch|Script| for| deployment| in| production| environments|.
+
+|Join| the| growing| community| on| the| Hub|,| forum|,| or| Discord| today|!
+
+phi4-mini-jamo: 255 (2.35% more effective than phi-4)
+State|-of|-the|-art| Machine| Learning| for| Py|Torch|,| Tensor|Flow|,| and| J|AX|.
+
+|�|�| Transformers| provides| APIs| and| tools| to| easily| download| and| train| state|-of|-the|-art| pretrained| models|.| Using| pretrained| models| can| reduce| your| compute| costs|,| carbon| footprint|,| and| save| you| the| time| and| resources| required| to| train| a| model| from| scratch|.| These| models| support| common| tasks| in| different| modalities|,| such| as|:
+
+|�|��| Natural| Language| Processing|:| text| classification|,| named| entity| recognition|,| question| answering|,| language| modeling|,| code| generation|,| summar|ization|,| translation|,| multiple| choice|,| and| text| generation|.
+|�|�|�|️| Computer| Vision|:| image| classification|,| object| detection|,| and| segmentation|.
+|�|�|�|️| Audio|:| automatic| speech| recognition| and| audio| classification|.
+|�|�| Mult|im|odal|:| table| question| answering|,| optical| character| recognition|,| information| extraction| from| scanned| documents|,| video| classification|,| and| visual| question| answering|.
+
+|�|�| Transformers| support| framework| interoperability| between| Py|Torch|,| Tensor|Flow|,| and| J|AX|.| This| provides| the| flexibility| to| use| a| different| framework| at| each| stage| of| a| model|’s| life|;| train| a| model| in| three| lines| of| code| in| one| framework|,| and| load| it| for| inference| in| another|.| Models| can| also| be| exported| to| a| format| like| ON|NX| and| Torch|Script| for| deployment| in| production| environments|.
+
+|Join| the| growing| community| on| the| Hub|,| forum|,| or| Discord| today|!
+
+jamo-exp1: 710 (-63.24% more effective than phi-4)
+St|ate|-|of|-|the|-|art|M|ac|hi|n|e|L|e|ar|n|ing|for|P|y|T|or|ch|,|T|en|s|or|F|lo|w|,|and|J|A|X|.|
+|
+|�|�|�|�|T|r|an|s|for|m|ers|pro|v|id|es|AP|I|s|and|to|ol|s|to|e|a|si|ly|d|ow|n|lo|ad|and|tr|ain|st|ate|-|of|-|the|-|art|p|r|et|r|ain|ed|m|od|el|s|.|U|si|ng|p|r|et|r|ain|ed|m|od|el|s|c|an|r|ed|uc|e|y|our|com|p|ut|e|c|o|st|s|,|c|ar|b|on|f|o|ot|p|r|in|t|,|and|s|av|e|y|ou|the|t|im|e|and|r|es|our|c|es|re|qu|ir|ed|to|tr|ain|a|m|od|el|f|ro|m|s|c|r|at|ch|.|T|h|es|e|m|od|el|s|s|up|p|ort|com|m|on|t|as|k|s|in|d|if|f|er|ent|m|od|al|it|ies|,|s|u|ch|as|:|
+|
+|�|�|�|�|N|at|ur|al|L|ang|u|ag|e|P|ro|c|es|si|ng|:|t|ex|t|c|l|as|si|f|ic|ation|,|n|am|ed|ent|ity|r|ec|og|n|it|ion|,|qu|est|ion|an|s|w|er|ing|,|l|ang|u|ag|e|m|od|el|ing|,|c|od|e|g|en|er|ation|,|s|um|m|ar|iz|ation|,|tr|an|s|l|ation|,|m|ult|ip|le|ch|o|ic|e|,|and|t|ex|t|g|en|er|ation|.|
+|�|�|�|�|�|�|�|C|om|p|ut|er|V|i|sion|:|im|ag|e|c|l|as|si|f|ic|ation|,|ob|j|ect|d|et|ect|ion|,|and|s|eg|ment|ation|.|
+|�|�|�|�|�|�|�|A|ud|i|o|:|a|ut|om|at|ic|sp|e|ec|h|r|ec|og|n|it|ion|and|a|ud|i|o|c|l|as|si|f|ic|ation|.|
+|�|�|�|�|M|ult|im|od|al|:|t|ab|le|qu|est|ion|an|s|w|er|ing|,|op|t|ical|ch|ar|ac|ter|r|ec|og|n|it|ion|,|in|for|m|ation|ex|tr|act|ion|f|ro|m|s|c|an|n|ed|d|oc|um|ent|s|,|v|id|e|o|c|l|as|si|f|ic|ation|,|and|v|is|u|al|qu|est|ion|an|s|w|er|ing|.|
+|
+|�|�|�|�|T|r|an|s|for|m|ers|s|up|p|ort|f|r|am|ew|or|k|in|ter|op|er|ab|il|ity|b|et|w|e|en|P|y|T|or|ch|,|T|en|s|or|F|lo|w|,|and|J|A|X|.|T|hi|s|pro|v|id|es|the|f|le|x|ib|il|ity|to|us|e|a|d|if|f|er|ent|f|r|am|ew|or|k|at|e|ac|h|st|ag|e of|a|m|od|el|�|�|�|s|l|if|e|;|tr|ain|a|m|od|el|in|th|re|e|l|in|es|of|c|od|e|in|on|e|f|r|am|ew|or|k|,|and|lo|ad|it|for|in|f|er|enc|e|in|an|ot|h|er|.|M|od|el|s|c|an|al|s|o|b|e|ex|p|ort|ed|to|a|for|m|at|l|i|k|e|ON|N|X|and|T|or|ch|S|c|ri|p|t|for|d|ep|lo|y|ment|in|pro|d|uc|tion|en|v|ir|on|ment|s|.|
+|
+|J|o|in|the|g|ro|w|ing|com|m|un|ity|on|the|H|ub|,|for|um|,|or|D|is|c|or|d|t|od|ay|!
+
+gpt-4o: 255 (2.35% more effective than phi-4)
+State|-of|-the|-art| Machine| Learning| for| Py|Torch|,| Tensor|Flow|,| and| J|AX|.
+
+|�|�| Transformers| provides| APIs| and| tools| to| easily| download| and| train| state|-of|-the|-art| pretrained| models|.| Using| pretrained| models| can| reduce| your| compute| costs|,| carbon| footprint|,| and| save| you| the| time| and| resources| required| to| train| a| model| from| scratch|.| These| models| support| common| tasks| in| different| modalities|,| such| as|:
+
+|�|��| Natural| Language| Processing|:| text| classification|,| named| entity| recognition|,| question| answering|,| language| modeling|,| code| generation|,| summar|ization|,| translation|,| multiple| choice|,| and| text| generation|.
+|�|�|�|️| Computer| Vision|:| image| classification|,| object| detection|,| and| segmentation|.
+|�|�|�|️| Audio|:| automatic| speech| recognition| and| audio| classification|.
+|�|�| Mult|im|odal|:| table| question| answering|,| optical| character| recognition|,| information| extraction| from| scanned| documents|,| video| classification|,| and| visual| question| answering|.
+
+|�|�| Transformers| support| framework| interoperability| between| Py|Torch|,| Tensor|Flow|,| and| J|AX|.| This| provides| the| flexibility| to| use| a| different| framework| at| each| stage| of| a| model|’s| life|;| train| a| model| in| three| lines| of| code| in| one| framework|,| and| load| it| for| inference| in| another|.| Models| can| also| be| exported| to| a| format| like| ON|NX| and| Torch|Script| for| deployment| in| production| environments|.
+
+|Join| the| growing| community| on| the| Hub|,| forum|,| or| Discord| today|!
+</details>
+
+phi4: 261 (0.00% more effective than phi-4)
+
+phi4-jamo: 261 (0.00% more effective than phi-4)
 
-phi4: 3 (0.00% more effective than phi-4) (Z|o|ë)
+phi4-mini: 255 (2.35% more effective than phi-4)
 
-phi4-mini-jamo: 3 (0.00% more effective than phi-4) (Z|o|ë)
+phi4-mini-jamo: 255 (2.35% more effective than phi-4)
 
-phi4-jamo: 3 (0.00% more effective than phi-4) (Z|o|ë)
+jamo-exp1: 710 (-63.24% more effective than phi-4)
 
-jamo-exp1: 5 (-40.00% more effective than phi-4) (Z|o|e|�|�)
+gpt-4o: 255 (2.35% more effective than phi-4)