[Flask] 플라스크 웹 배포
·
python/라이브러리
(py39) suyeon@idea-X299-WU8:~/code$ export FLASK_APP=flask_web.app (py39) suyeon@idea-X299-WU8:~/code$ export FLASK_DEBUG=true (py39) suyeon@idea-X299-WU8:~/code$ flask run --host=0.0.0.0 접속 백그라운드 플라스크 실행 (서버로 실행) nohup flask run --host=0.0.0.0 & 로컬 서버로 실행 nohup python3 -u flask_app.py & nohup은 터미널이 종료되어도 표준 출력인 콘솔 출력은 nohup.out 파일에 계속해서 기록된다. 백그라운드로 실행된 프로세스를 종료하기 위해서는 ps명령으로 pid를 확인한 후, kill하면..
Programmers / 연속 부분 수열 합의 개수 / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: 연속 부분 수열 합의 개수 (2단계) 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/131701 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 철호는 수열을 가지고 놀기 좋아합니다. 어느 날 철호는 어떤 자연수로 이루어진 원형 수열의 연속하는 부분 수열의 합으로 만들 수 있는 수가 모두 몇 가지인지 알아보고 싶어졌습니다. 원형 수열이란 일반적인 수열에서 처음과 끝이 연결된 형태의 수열을 말합니다. 예를 들어 수열 [7, 9..
[NLP] Py-Hanspell로 띄워쓰기와 맞춤법 교정하기 -with 네이버 한글 맞춤법 검사기
·
공부정리/NLP
Py-Hanspell pip install git+https://github.com/ssut/py-hanspell.git Py-Hanspell은 네이버 한글 맞춤법 검사기를 바탕으로 만들어진 패키지입니다. from hanspell import spell_checker sent = "맞춤법 틀리면 외 않되? 쓰고싶은대로쓰면돼지 " spelled_sent = spell_checker.check(sent) hanspell_sent = spelled_sent.checked print(hanspell_sent) 맞춤법 틀리면 왜 안돼? 쓰고 싶은 대로 쓰면 되지 이 패키지는 띄어쓰기 또한 보정합니다. PyKoSpacing에 사용한 예제를 그대로 사용해봅시다. spelled_sent = spell_checker.c..
[NLP] PyKoSpacing로 띄어쓰기 교정하기
·
공부정리/NLP
PyKoSpacing pip install git+https://github.com/haven-jeon/PyKoSpacing.git 전희원님이 개발한 PyKoSpacing은 띄어쓰기가 되어있지 않은 문장을 띄어쓰기를 한 문장으로 변환해주는 패키지입니다. PyKoSpacing은 대용량 코퍼스를 학습하여 만들어진 띄어쓰기 딥 러닝 모델로 준수한 성능을 가지고 있습니다. sent = '김철수는 극중 두 인격의 사나이 이광수 역을 맡았다. 철수는 한국 유일의 태권도 전승자를 가리는 결전의 날을 앞두고 10년간 함께 훈련한 사형인 유연재(김광수 분)를 찾으러 속세로 내려온 인물이다.' 임의의 문장을 임의로 띄어쓰기가 없는 문장으로 만들었습니다. new_sent = sent.replace(" ", '') # 띄어쓰..
[NLP Project] 문장에서 불용어 제거하기
·
Project/캡스톤디자인2
Predict 함수에서 불용어를 제거하는 함수를 작성하도록 하겠습니다. def remove_stopwords(sentence): with open('stop_words.txt',"r") as f: stop_words = [line.rstrip('\n') for line in f] print(stop_words) result = [] sentence = sentence.split(' ') for i in sentence: if i not in stop_words: result.append(i) return " ".join(result) 자주 사용하는 불용어 목록은 첨부한 텍스트 파일과 같습니다. 제가 작성한 stop_words 불용어 사전은 제가 프로젝트를 진행함에 있어 조금 커스텀 해주었습니다. (년 월..
[Python] import aspose.words 텍스트 파일을 PDF 파일로 변환하기
·
python/라이브러리
import aspose.words as aw doc = aw.Document("Input.txt") doc.save("Output.pdf") :https://products.aspose.com/words/ko/python-net/conversion/text-to-pdf/ Python에서 텍스트 을(를) PDF 로 변환 Python TEXT 을 PDF 형식으로 변환합니다. Python 사용하여 TEXT 을 PDF로 저장합니다. products.aspose.com
Programmers / 할인행사 / Python 파이썬
·
coding test - python/Programmers
*문제 출처는 프로그래머스에 있습니다. 문제 제목: 할인행사 (2단계) 문제 사이트: https://school.programmers.co.kr/learn/courses/30/lessons/131127?language=python3 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 XYZ 마트는 일정한 금액을 지불하면 10일 동안 회원 자격을 부여합니다. XYZ 마트에서는 회원을 대상으로 매일 한 가지 제품을 할인하는 행사를 합니다. 할인하는 제품은 하루에 하나씩만 구매할 수 있습니다. 알뜰한 정현이는 자신이 원하는 제품과 수량이 할인하는 날짜와 ..
[NLP Project] tensorflow 파인튜닝한 모델 저장하고 모델 불러오기
·
Project/캡스톤디자인2
텐서플로우에서 파인튜닝한 버트 모델을 저장하고 불러오겠습니다. model.fit( X_train, y_train, epochs=1, batch_size=128, callbacks = [f1_score_report] ) model.save_weights('save_model/model_weight') 학습한 모델은 save_weights 로 저장합니다. predict.py def model_load(): model = modeling(model_name='bert-base-multilingual-cased', tag_size=30) model.load_weights('save_model/model_weight') print("model_load성공!!") return model 모델의 아키텍처를 모두 불러..
[NLP Project] Bert model 성능 기록
·
Project/캡스톤디자인2
11월 12일 bert-base-multilingual-cased epochs = 20, batch_size = 128 RMSprop lr" 5e-5 f1 score : 82.17 더보기 Epoch 1/20 461/461 [==============================] - 356s 743ms/step - loss: 0.4317 - f1: 75.18 precision recall f1-score support AT_B 0.85 0.90 0.87 1743 AT_I 0.76 0.87 0.81 500 ER_B 0.70 0.77 0.73 2853 ER_I 0.48 0.29 0.36 337 FW_B 0.46 0.23 0.31 284 FW_I 0.20 0.16 0.18 80 IM_B 0.80 0.79 0...
mecab 설치 (with ubuntu, konlpy)
·
공부정리/NLP
1. Konlpy 설치 pip install konlpy pip install JPype1 아래의 코드로 테스트한다. from konlpy.tag import Komoran komoran = Komoran() text = "아버지가 방에 들어가신다." komoran.nouns(text) komoran.morphs(text) 2. Mecab 설치 wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz tar xvfz mecab-0.996-ko-0.9.2.tar.gz cd mecab-0.996-ko-0.9.2 ./configure make make check make install sudo ldconfig mecab ..
[Tensorflow] model.save() 오류
·
python/라이브러리
model.save('파일이름.h5')로 했을 때 오류가 났었다. 해당 오류의 경우 model.save_weights('파일이름.h5') 이렇게 저장하여 오류가 해결됐다. save, load_model은 모델 전체를 저장하기 때문에, load 이후에 별도로 처리할 필요가 없다. save_weights, load_weights는 가중치만 저장하기 때문에, 모델 architecture를 동일하게 만들어줘야 된다. 이미 모델 architecture를 알고 있을때만 사용할 수 있다. 참고 https://ltlkodae.tistory.com/13
[Tensorflow] 텐서플로우 경고 무시
·
python/라이브러리
모듈 설치 pip install silence_tensorflow 사용 from silence_tensorflow import silence_tensorflow silence_tensorflow() from keras.models import load_model 그럼 이제 경고문 없이 깨끗한 터미널을 볼 수 있다..ㅎㅎ