[NLP] 허깅페이스(Huggingface)에 로그인하여 내 모델 포팅(porting)하기 / 토큰 발급, 허깅페이스 로그인, 모델 포팅
·
공부정리/NLP
Hugging Face – The AI community building the future. The AI community building the future. Build, train and deploy state of the art models powered by the reference open source in machine learning. huggingface.co 허깅페이스(Huggingface)는 사람들이 모델을 만들고 학습시켜 올려둘 수 있는 저장소이다. 기본적으로는 git을 기반으로 돌아간다. 허깅페이스의 transformers 모듈을 사용하면 자신에게 필요한 여러 모델들을 손쉽게 가져다 쓸 수 있다. 여기에 자기가 만들어 학습을 시킨 혹은 기존의 pre-trained된 모델을 가져다가..
Programmers / 순위 / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: 순위 (3단계) 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/49191 문제 설명 n명의 권투선수가 권투 대회에 참여했고 각각 1번부터 n번까지 번호를 받았습니다. 권투 경기는 1대1 방식으로 진행이 되고, 만약 A 선수가 B 선수보다 실력이 좋다면 A 선수는 B 선수를 항상 이깁니다. 심판은 주어진 경기 결과를 가지고 선수들의 순위를 매기려 합니다. 하지만 몇몇 경기 결과를 분실하여 정확하게 순위를 매길 수 없습니다. 선수의 수 n, 경기 결과를 담은 2차원 배열 results가 매개변수로 주어질 때 정확하게 순위를 매길 수 있는 선수의 수를 return 하도록 solution ..
[Python] argparse로 모델 학습하기 / Python argparse 사용법
·
python/라이브러리
이런 코드를받으면 어떻게 해야할까? import os import argparse def parse_args(mode='train'): parser = argparse.ArgumentParser() parser.add_argument('--seed', default=42, type=int, help='seed') parser.add_argument('--device', default='cpu', type=str, help='cpu or gpu') parser.add_argument('--data_dir', default='/opt/ml/input/data/train_dataset', type=str, help='data directory') parser.add_argument('--asset_dir', ..
[Paper Review] COBERT: COVID-19 Question Answering System Using BERT - (2) Experiment
·
Paper/NLP Paper review
보호되어 있는 글입니다.
[Paper Review] COBERT: COVID-19 Question Answering System Using BERT - (1) 개요, 모델 아키텍처 설명
·
Paper/NLP Paper review
보호되어 있는 글입니다.
Programmers / 배달 - 플로이드 워샬 알고리즘 / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: 배달 (2단계) 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/12978 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 N개의 마을로 이루어진 나라가 있습니다. 이 나라의 각 마을에는 1부터 N까지의 번호가 각각 하나씩 부여되어 있습니다. 각 마을은 양방향으로 통행할 수 있는 도로로 연결되어 있는데, 서로 다른 마을 간에 이동할 때는 이 도로를 지나야 합니다. 도로를 지날 때 걸리는 시간은 도로별로 다릅니다. 현재 1번 마..
Programmers / 합승택시요금 - 플로이드 워샬 알고리즘 / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: 합승택시 요금 (플로이드 워샬 알고리즘) 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/72413#qna 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 [본 문제는 정확성과 효율성 테스트 각각 점수가 있는 문제입니다.] 밤늦게 귀가할 때 안전을 위해 항상 택시를 이용하던 무지는 최근 야근이 잦아져 택시를 더 많이 이용하게 되어 택시비를 아낄 수 있는 방법을 고민하고 있습니다. "무지"는 자신이 택시를 이용할 때 동료인 어피..
[NLP] KorQuAD 1.0 데이터셋 기계독해 MRC 구현 / BERT fine-turning
·
공부정리/NLP
- 기존 COLAB 환경에서 TPU로 학습된 코드를 GPU 환경에서 실행되도록 하였습니다. - 마지막에 직접 커스텀 데이터셋 (본문과 질문)을 넣으면 해당 모델을 통해 기계독해를 하도록 구현한 것을 추가하였습니다. - 평가함수에 대한 구현은 아직 미흡합니다. 코드 구현 HTML 삽입 미리보기할 수 없는 소스 REFERENCE 원본 코드 https://github.com/ukairia777/tensorflow-nlp-tutorial/blob/main/18.%20Fine-tuning%20BERT%20(Cls%2C%20NER%2C%20NLI)/18-7.%20kor_bert_question_answering_tpu.ipynb GitHub - ukairia777/tensorflow-nlp-tutorial: ten..
[Tensorflow] InternalError: Blas xGEMM launch failed : a.shape=[1,15,1024], b.shape=[1,1024,1024], m=15, n=1024, k=1024 [Op:MatMul] 오류
·
python/라이브러리
InternalError Traceback (most recent call last) Cell In[19], line 3 1 # 신규 2 with strategy.scope(): ----> 3 model = TFBertForQuestionAnswering("bert-large-uncased-whole-word-masking-finetuned-squad") 4 optimizer = tf.keras.optimizers.Adam(learning_rate=5e-5) 5 loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False) Cell In[18], line 4, in TFBertForQuestionAnswering.__init__(self,..
[알고리즘] 플로이드 워샬 VS 다익스트라 차이점 - 최단 경로 알고리즘
·
python/자료구조 & 알고리즘
다익스트라 알고리즘은 한 지점에서 다른 모든 지점까지의 최단 경로를 계산하는 알고리즘이다. 플로이드 워셜 알고리즘은 모든 지점에서 다른 모든 지점까지의 최단 경로를 계산하는 알고리즘이다. 다익스트라의 시간 복잡도는 간단하게 구현하면 O(V²)이고 개선된 방법은 O(ElogV)이다. 플로이드 워셜의 시간 복잡도는 O(V³)이다. 최단 경로 알고리즘은 말 그대로 가장 짧은 경로를 찾는 알고리즘이다. 그래서 '길 찾기' 문제라고도 불린다. 최단 경로 알고리즘 유형에는 다양한 종류가 있는데, 상황에 맞는 효율적인 알고리즘이 이미 정립되어 있다. 최단 경로 문제는 보통 그래프를 이용해 표현하는데 각 지점은 그래프에서 '노드'로 표현되고, 지점 간 연결된 도로는 그래프에서 '간선'으로 표현된다. 컴퓨터공학과 학부 ..
Programmers / 섬 연결하기 / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: 섬 연결하기 (3단계) - 크루스칼 알고리즘 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/42861 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 n개의 섬 사이에 다리를 건설하는 비용(costs)이 주어질 때, 최소의 비용으로 모든 섬이 서로 통행 가능하도록 만들 때 필요한 최소 비용을 return 하도록 solution을 완성하세요. 다리를 여러 번 건너더라도, 도달할 수만 있으면 통행 가능하다고 봅니다. 예를 들어 ..
[알고리즘] 다익스트라 알고리즘
·
python/자료구조 & 알고리즘
보호되어 있는 글입니다.