[Paper Review] Consumer health information and question answering:helping consumers find answers to their health-relatedinformation needs
·
Paper/NLP Paper review
보호되어 있는 글입니다.
[알고리즘] 이진탐색 (이분탐색) - 파라메틱 서치 / Python 파이썬
·
python/자료구조 & 알고리즘
1. 파라메트릭 서치란? 파라메트릭 서치는 최적화 문제를 결정 문제로 바꾸어 풀어 나가는 기법입니다. 여기서 결정 문제란 'yes' or 'no', 즉, '예' 또는 '아니오'로 답하는 문제를 말합니다. 파라메트릭 서치는 주로 특정 조건을 만족하면서 동시에 가장 적합한 변숫값을 찾아나가는 문제에서 활용되며, 이진 탐색(Binary Search)을 이용하여 구현합니다. 예를 들어, 특정 조건을 만족하는 가장 큰 값을 구하는 최적화 문제에서 이진 탐색을 통해 적합한 해(solution)의 범위를 절반씩 좁혀 나갈 수 있습니다. 2. 파라메트릭 서치는 언제 사용하면 좋을까? 앞서 파라메트릭 서치 문제는 이진 탐색을 활용해 해결할 수 있다고 했습니다. 이진 탐색 알고리즘은 입력 데이터가 많거나(e.g., 1,0..
[NLP] Hugging Face 허깅페이스에서 불러온 모델 미세조정 후 모델업로드하기 (SQuAD v1.1 Dataset)
·
공부정리/NLP
HTML 삽입 미리보기할 수 없는 소스 이렇게 모델을 올리고 나면 내 허깅페이스 레파지토리에 잘 올라간 모습을 볼 수 있습니다. 이렇게 내 계정에 모델을 올리면 허깅페이스 API를 통해 간편하게 다른 코드에서 모델을 불러와 바로 적용할 수 있습니당~! 모델의 주소는 [계정명]/[모델명] 이렇게 작성하면 됩니다. 예시1. sillon/huggingface-tutorial 예시2. sillon/linux_test
Programmers / [1차] 셔틀버스 / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: [1차] 셔틀버스 - 3단계 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/17678#qna 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 셔틀버스 카카오에서는 무료 셔틀버스를 운행하기 때문에 판교역에서 편하게 사무실로 올 수 있다. 카카오의 직원은 서로를 '크루'라고 부르는데, 아침마다 많은 크루들이 이 셔틀을 이용하여 출근한다. 이 문제에서는 편의를 위해 셔틀은 다음과 같은 규칙으로 운행한다고 가정하자. 셔틀은 09:0..
[Jupyter notebook] vscode 안에서 ipynb에서 html로 바꾸기
·
python/라이브러리
[Jupyter notebook] vscode 안에서 ipynb에서 html로 바꾸기 terminal jupyter nbconvert --to html /Your notebook path/file.ipynb google colabe에서도 동일하다. %%shell jupyter nbconvert --to html /Your notebook path/file.ipynb 근데 해당 방법에서는 자꾸 다음과 같은 오류가 떴다. raise NotJSONError(("Notebook does not appear to be JSON: %r" % s)[:77] + "...") from e nbformat.reader.NotJSONError: Notebook does not appear to be JSON: ''... 다..
Programmers / [카카오 인턴] 경주로 건설 - dp / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: [카카오 인턴] 경주로 건설 (3단계) - 다이나믹 프로그래밍 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/67259 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 건설회사의 설계사인 죠르디는 고객사로부터 자동차 경주로 건설에 필요한 견적을 의뢰받았습니다. 제공된 경주로 설계 도면에 따르면 경주로 부지는 N x N 크기의 정사각형 격자 형태이며 각 격자는 1 x 1 크기입니다. 설계 도면에는 각 격자의 칸은 0 또는 1 ..
[자료구조] 동적 계획법 - dp 2차원 배열로 좌표 이동하기 / Python 파이썬
·
python/자료구조 & 알고리즘
동적계획법 (다이나믹 프로그래밍)에 대해서 코딩 문제는 많이 푼 것 같지만 여러 유형의 dp 에 대해 다뤄보지 못한 것 같아 포스팅한다. 본 게시글은 해당 게시글의 내용 파이썬으로 변경하였다. 예를 들어 정수들이 저장된 nXn의 좌상단에서 우 하단 까지 이동하는 문제에서 오른쪽이나 하단으로만 이동이 가능하다는 조건으로 지나간 값들의 합이 최소가 되도록 하는 최적의 경로를 찾아보자. 0,0에서 i,j 까지 가는 방법은 2가지가 있다. i, (j-1)를 거쳐서 오거나 (i-1), j 로 오는 방법이다. 이렇게 거쳐서 오는 값들을 수식으로 확인해보면 다음과 같다. 그럼 파이썬으로 프로그래밍 하자. def mat(i,j): if i == 1 and j == 1: return m[i][j]; # 외길로 판단하여 ..
Programmers / 거스름돈 - 다이나믹프로그래밍(dp) / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: 거스름돈 (3단계) 다이나믹프로그래밍 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/12907 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 Finn은 편의점에서 야간 아르바이트를 하고 있습니다. 야간에 손님이 너무 없어 심심한 Finn은 손님들께 거스름돈을 n 원을 줄 때 방법의 경우의 수를 구하기로 하였습니다. 예를 들어서 손님께 5원을 거슬러 줘야 하고 1원, 2원, 5원이 있다면 다음과 같이 4가지 방법으로 5원을 ..
Programmers / 인사고과 / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: 인사고과 - 3단계 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/152995 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 완호네 회사는 연말마다 1년 간의 인사고과에 따라 인센티브를 지급합니다. 각 사원마다 근무 태도 점수와 동료 평가 점수가 기록되어 있는데 만약 어떤 사원이 다른 임의의 사원보다 두 점수가 모두 낮은 경우가 한 번이라도 있다면 그 사원은 인센티브를 받지 못합니다. 그렇지 않은 사원들에 대해서는 두 점수..
[NLP] Hugging Face API, 허깅페이스 API / Trainer, Training Arguments 구현
·
공부정리/NLP
Trainer class는 모델학습부터 평가까지 한 번에 해결할 수 있는 API를 제공한다. 다음의 사용예시를 보면 직관적으로 이해할 수 있다. from transformers import Trainer #initialize Trainer trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset eval_dataset=eval_dataset compute_metrics, tokenizer=tokenizer ) #train trainer.train() #save trainer.save_model() #eval metrics = trainer.evaluate(eval_dataset=eval_dataset) Initializ..
[NLP] Hugging Face 허깅페이스 오류 / 깃 설정 오류 / OSError: Tried to clone a repository in a non-empty folder that isn't a git repository. If you really want to do this, do it manually:git init && git remote add origin && git pull origin ma..
·
공부정리/NLP
모델을 저장하려는데 오류가 생겼다! OSError: Tried to clone a repository in a non-empty folder that isn't a git repository. If you really want to do this, do it manually: git init && git remote add origin && git pull origin main or clone repo to a new folder and move your existing files there afterwards. 바로 깃에 연결되지 않아서 그렇다.. ㅎ !pip install hf-lfs !git config --global user.email "" !git config --global user.name..
[NLP] Hugging Face 오류 / 토큰 권한 변경 / HfHubHTTPError: <class 'requests.exceptions.HTTPError'> (Request ID: Root=1-63d9c8e7-7270e6f27fc51f431f1a5df3)You don't have the rights to create a model under this namespace - You don't have the rights..
·
공부정리/NLP
학습을 끝마치고 다음과 같은 오류가 생겼다. HfHubHTTPError: (Request ID: Root=1-63d9c8e7-7270e6f27fc51f431f1a5df3) You don't have the rights to create a model under this namespace - You don't have the rights to create a model under this namespace 이러한 오류는 토큰에서 read 로만 권한을 설정했기 때문이다! 따라서 write으로 설정된 토큰으로 변경해주자!