[NLP] Fine Turning - Hugging face

2022. 10. 18. 11:45·공부정리/NLP
728x90
반응형
 

Sharing models and tokenizers - Hugging Face Course

Using pretrained models The Model Hub makes selecting the appropriate model simple, so that using it in any downstream library can be done in a few lines of code. Let’s take a look at how to actually use one of these models, and how to contribute back to

huggingface.co

위의 링크의 내용

 

1. 파이프라인 패키지를 통해 불러오기

- 가장 단순하지만 Task에 맞는 모델을 불러와야함.

2. 모델 아키텍쳐 패키지를 통해 불러오기

3. 오토클래스 패키지를 통해 불러오기

- 체크포인트에 따라 토크나이저, 모델을 불러주기에 가장 간편

 

Hugging Face의 Models 탭을 통해 활용가능한 모델들을 확인할 수 있고

모델을 클릭하여 보면

이렇게 Model Card를 통해 모델 설명을 볼 수 있으며

오른쪽의 Train, Depoly, Use in Transformers 등의 버튼을 통해

이렇게 활용 코드를 따올 수 있다.

 

출처

https://neulvo.tistory.com/m/469

728x90
반응형

'공부정리 > NLP' 카테고리의 다른 글

[NLP] Sentence transformer를 이용하여 텍스트 유사도 구하기 with korQuad Dataset - (3) 명사 추출  (1) 2022.10.18
[NLP] Sentence transformer를 이용하여 텍스트 유사도 구하기 with korQuad Dataset - (2)  (1) 2022.10.18
[NLP] Sentence transformer를 이용하여 텍스트 유사도 구하기 with korQuad Dataset  (1) 2022.10.14
[NLP] 자연어 처리를 위한 데이터 셋 모음  (0) 2022.10.14
[NLP] KorQuAD dataset 기반 챗봇 만들기  (0) 2022.10.13
'공부정리/NLP' 카테고리의 다른 글
  • [NLP] Sentence transformer를 이용하여 텍스트 유사도 구하기 with korQuad Dataset - (3) 명사 추출
  • [NLP] Sentence transformer를 이용하여 텍스트 유사도 구하기 with korQuad Dataset - (2)
  • [NLP] Sentence transformer를 이용하여 텍스트 유사도 구하기 with korQuad Dataset
  • [NLP] 자연어 처리를 위한 데이터 셋 모음
sillon
sillon
꾸준해지려고 합니다..
    반응형
  • sillon
    sillon coding
    sillon
  • 전체
    오늘
    어제
    • menu (614)
      • notice (2)
      • python (68)
        • 자료구조 & 알고리즘 (23)
        • 라이브러리 (19)
        • 기초 (8)
        • 자동화 (14)
        • 보안 (1)
      • coding test - python (301)
        • Programmers (166)
        • 백준 (76)
        • Code Tree (22)
        • 기본기 문제 (37)
      • coding test - C++ (5)
        • Programmers (4)
        • 백준 (1)
        • 기본기문제 (0)
      • 공부정리 (5)
        • 신호처리 시스템 (0)
        • Deep learnig & Machine lear.. (41)
        • Data Science (18)
        • Computer Vision (17)
        • NLP (40)
        • Dacon (2)
        • 모두를 위한 딥러닝 (강의 정리) (4)
        • 모두의 딥러닝 (교재 정리) (9)
        • 통계 (2)
      • HCI (23)
        • Haptics (7)
        • Graphics (11)
        • Arduino (4)
      • Project (21)
        • Web Project (1)
        • App Project (1)
        • Paper Project (1)
        • 캡스톤디자인2 (17)
        • etc (1)
      • OS (10)
        • Ubuntu (9)
        • Rasberry pi (1)
      • App & Web (9)
        • Android (7)
        • javascript (2)
      • C++ (5)
        • 기초 (5)
      • Cloud & SERVER (8)
        • Git (2)
        • Docker (1)
        • DB (4)
      • Paper (7)
        • NLP Paper review (6)
      • 데이터 분석 (0)
        • GIS (0)
      • daily (2)
        • 대학원 준비 (0)
      • 영어공부 (6)
        • job interview (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 방명록
  • 링크

  • 공지사항

  • 인기 글

  • 태그

    소수
    백준
    programmers
    Python
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.3
sillon
[NLP] Fine Turning - Hugging face
상단으로

티스토리툴바