경로 : C:\Program Files\Java\jdk-20 11.0.1과 같이 버전에 대한 숫자는 어떤 버전을 설치했느냐에 따라 다를 수 있습니다.
2) JDK 환경 변수 설치 경로를 찾았다면 해당 경로를 복사합니다.
해당 경로를 윈도우 환경 변수에 추가해야하기 때문입니다. 윈도우 10기준) 제어판 > 시스템 및 보안 > 시스템 > 고급 시스템 설정 > 고급 > 환경 변수 새로 만들기(N)...를 누르고 JAVA_HOME이라는 환경 변수를 만듭니다. 환경 변수의 값은 앞서 찾 았던 jdk 설치 경로입니다.
from gensim.models import Word2Vec
from Korpora import Korpora
# "korean_petitions" 데이터셋 로드
corpus = Korpora.load("korean_petitions")
# 텍스트 전처리: 문장을 단어로 분할
sentences = [s for doc in corpus.get_all_texts() for s in doc.split('. ')] # 문서를 문장으로 분할
# 단어로 분할된 문장 리스트
word_sentences = [sentence.split() for sentence in sentences]
# Word2Vec 모델 학습 (CBOW)
cbow_model = Word2Vec(word_sentences, vector_size=100, window=5, min_count=5, workers=4, sg=0)
# 단어 벡터 출력
word_vectors_cbow = cbow_model.wv
# 검색할 단어
target_word = "가상화폐"
print("CBOW - '{}'의 벡터:".format(target_word), word_vectors_cbow[target_word])
# 유사한 단어 찾기
similar_words = word_vectors_cbow.most_similar(target_word)
# 검색한 단어가 유사한 단어 목록에 포함되는 경우 제외한 유사한 단어 목록 생성
filtered_similar_words = [(word, score) for word, score in similar_words if word != target_word and target_word not in word]
print("검색한 단어:", target_word)
print("유사한 단어들:", filtered_similar_words)
Skip-gram 실습 20~24분소요
from gensim.models import Word2Vec
from Korpora import Korpora
# "korean_petitions" 데이터셋 로드
corpus = Korpora.load("korean_petitions")
# 텍스트 전처리: 문장을 단어로 분할
sentences = [s for doc in corpus.get_all_texts() for s in doc.split('. ')] # 문서를 문장으로 분할
# 단어로 분할된 문장 리스트
word_sentences = [sentence.split() for sentence in sentences]
# Word2Vec 모델 학습 (Skip-Gram)
skipgram_model = Word2Vec(word_sentences, vector_size=100, window=5, min_count=5, workers=4, sg=1)
# 단어 벡터 출력
word_vectors_skipgram = skipgram_model.wv
# "국민"이라는 단어의 벡터 출력
target_word = "가상화폐"
print("Skip-Gram - '{}'의 벡터:".format(target_word), word_vectors_skipgram[target_word])
# 유사한 단어 찾기
similar_words = word_vectors_skipgram.most_similar(target_word)
# 검색한 단어가 유사한 단어 목록에 포함되는 경우 제외한 유사한 단어 목록 생성
filtered_similar_words = [(word, score) for word, score in similar_words if word != target_word and target_word not in word]
print("검색한 단어:", target_word)
print("유사한 단어들:", filtered_similar_words)
FastText 실습
Fasttext(CBOW)실습 15분소요
from gensim.models import FastText
from Korpora import Korpora
import re
# "korean_petitions" 데이터셋 로드
corpus = Korpora.load("korean_petitions")
# 텍스트 전처리: 문장을 단어로 분할
sentences = [s for doc in corpus.get_all_texts() for s in doc.split('. ')] # 문서를 문장으로 분할
# 한글이 아닌 글자 제외하고 전처리
korean_sentences = [re.sub("[^가-힣a-zA-Z ]", "", sentence) for sentence in sentences]
# 단어로 분할된 문장 리스트
word_sentences = [sentence.split() for sentence in korean_sentences]
# FastText 모델 학습
fasttext_model = FastText(word_sentences, vector_size=100, window=5, min_count=5, workers=4, sg=0)
# 단어 벡터 출력
word_vectors_fasttext = fasttext_model.wv
# 검색할 단어
target_word = "가상화폐"
# 조사 제거를 위한 함수
def remove_josa(word):
josa_list = ['은', '는', '이', '가', '을', '를', '와', '과']
for josa in josa_list:
if word.endswith(josa):
return word[:-len(josa)]
return word
# 검색할 단어에 조사 제거
target_word_no_josa = remove_josa(target_word)
print("FastText - '{}'의 벡터:".format(target_word_no_josa), word_vectors_fasttext[target_word_no_josa])
# 유사한 단어 찾기
similar_words = word_vectors_fasttext.most_similar(target_word_no_josa)
print("검색한 단어:", target_word)
print("유사한 단어들:", similar_words)
Fasttext(Skip-gram)실습 27~32분소요
from gensim.models import FastText
from Korpora import Korpora
import re
# "korean_petitions" 데이터셋 로드
corpus = Korpora.load("korean_petitions")
# 텍스트 전처리: 문장을 단어로 분할
sentences = [s for doc in corpus.get_all_texts() for s in doc.split('. ')] # 문서를 문장으로 분할
# 한글이 아닌 글자 제외하고 전처리
korean_sentences = [re.sub("[^가-힣a-zA-Z ]", "", sentence) for sentence in sentences]
# 단어로 분할된 문장 리스트
word_sentences = [sentence.split() for sentence in korean_sentences]
# FastText 모델 학습
fasttext_model = FastText(word_sentences, vector_size=100, window=5, min_count=5, workers=4, sg=1)
# 검색할 단어
target_word = "가상화폐"
# 조사 제거를 위한 함수
def remove_josa(word):
josa_list = ['은', '는', '이', '가', '을', '를', '와', '과']
for josa in josa_list:
if word.endswith(josa):
return word[:-len(josa)]
return word
# 검색할 단어에 조사 제거
target_word_no_josa = remove_josa(target_word)
print("FastText - '{}'의 벡터:".format(target_word_no_josa), fasttext_model.wv[target_word_no_josa])
# 유사한 단어 찾기
similar_words = fasttext_model.wv.most_similar(target_word_no_josa)
print("검색한 단어:", target_word)
print("유사한 단어들:", similar_words)
Doc2vec 실습
Doc2vec(DBOW)실습 25분소요
from gensim.models import Doc2Vec
from gensim.models.doc2vec import TaggedDocument
from Korpora import Korpora
import re
# Korpora 라이브러리를 통해 한국어 청원 데이터를 불러옵니다
corpus = Korpora.load("korean_petitions")
petitions = corpus.get_all_texts()
# 전처리 함수 정의: 한글 아닌 글자 제거
def preprocess_text(text):
text = re.sub("[^가-힣a-zA-Z ]", "", text) # 한글 이외의 글자 제거
text = text.strip() # 문서 양 끝 공백 제거
return text
# 전처리 적용한 데이터로 TaggedDocument 생성
tagged_data = [TaggedDocument(words=preprocess_text(petition).split(), tags=[str(i)]) for i, petition in enumerate(petitions)]
# DBOW 방식의 Doc2Vec 모델을 초기화하고 학습시킵니다
dbow_model = Doc2Vec(vector_size=100, window=5, min_count=1, workers=4, dm=0, epochs=20)
dbow_model.build_vocab(tagged_data)
dbow_model.train(tagged_data, total_examples=dbow_model.corpus_count, epochs=dbow_model.epochs)
# 특정 문서의 인덱스를 지정합니다
target_doc_index = 0
# DBOW 방식으로 얻은 특정 문서의 벡터 출력
doc_vector_dbow = dbow_model.dv[target_doc_index]
print("DBOW 방식으로 얻은 특정 문서의 벡터:", doc_vector_dbow)
# 특정 문서의 내용 출력
print("\n특정 문서 내용:")
print(petitions[target_doc_index])
print("\n")
# 특정 문서와 유사한 문서를 찾습니다
similar_documents_dbow = dbow_model.dv.most_similar(target_doc_index, topn=5)
print("특정 문서와 유사한 문서 (DBOW 방식):")
for doc_id, score in similar_documents_dbow:
print(f"유사도 {score:.2f}, 문서 인덱스 {doc_id}:")
print(petitions[int(doc_id)])
print("\n")
Doc2vec(DM 실습) 35분 소요
from gensim.models import Doc2Vec
from gensim.models.doc2vec import TaggedDocument
from Korpora import Korpora
import re
# Korpora 라이브러리를 통해 한국어 청원 데이터를 불러옵니다
corpus = Korpora.load("korean_petitions")
petitions = corpus.get_all_texts()
# 전처리 함수 정의: 한글 아닌 글자 제거
def preprocess_text(text):
text = re.sub("[^가-힣a-zA-Z ]", "", text) # 한글 이외의 글자 제거
text = text.strip() # 문서 양 끝 공백 제거
return text
# 전처리 적용한 데이터로 TaggedDocument 생성
tagged_data = [TaggedDocument(words=preprocess_text(petition).split(), tags=[str(i)]) for i, petition in enumerate(petitions)]
# DM 방식의 Doc2Vec 모델을 초기화하고 학습시킵니다
dm_model = Doc2Vec(vector_size=100, window=5, min_count=1, workers=4, dm=1, epochs=20)
dm_model.build_vocab(tagged_data)
dm_model.train(tagged_data, total_examples=dm_model.corpus_count, epochs=dm_model.epochs)
# 특정 문서의 인덱스를 지정합니다
target_doc_index = 0
# DM 방식으로 얻은 특정 문서의 벡터 출력
doc_vector_dm = dm_model.dv[target_doc_index]
print("DM 방식으로 얻은 특정 문서의 벡터:", doc_vector_dm)
# 특정 문서의 내용 출력
print("\n특정 문서 내용:")
print(petitions[target_doc_index])
print("\n")
# 특정 문서와 유사한 문서를 찾습니다
similar_documents_dm = dm_model.dv.most_similar(target_doc_index, topn=5)
print("특정 문서와 유사한 문서 (DM 방식):")
for doc_id, score in similar_documents_dm:
print(f"유사도 {score:.2f}, 문서 인덱스 {doc_id}:")
print(petitions[int(doc_id)])
print("\n")
import librosa
import librosa.display
import matplotlib.pyplot as plt
import numpy as np
import os
from tqdm import tqdm
dir = []
input_dir = 'raw_data'
for root, dirs, files in os.walk(input_dir):
current_dir = []
for file in tqdm(files, desc=f"Scanning {root}"):
if file.endswith(".wav"):
file_path = os.path.join(root, file)
current_dir.append(file_path)
if current_dir:
dir.append(current_dir)
for directory_files in dir:
for wav in directory_files:
print(wav)
# start와 end 값을 조절하여 wav데이터 시간을 슬라이싱 할 수 있습니다.
def skip_wav(input_dir, start=0, end=10, wav_data_list=None):
if wav_data_list is None:
wav_data_list = []
for root, dirs, files in os.walk(input_dir):
for file in tqdm(files, desc=f"Scanning {root}"):
if file.endswith(".wav"):
file_path = os.path.join(root, file)
processed = any(file_path == item[2] for item in wav_data_list)
if not processed:
try:
data, sr = librosa.load(file_path)
except Exception as e:
print(f"손상된 WAV 파일을 스킵합니다: {file_path}")
continue
start_sample = int(start * sr)
end_sample = min(int(end * sr), len(data))
data = data[start_sample:end_sample]
wav_data_list.append((np.array(data), sr, file_path))
return wav_data_list
설치 위치를 지정합니다. 기본 설치 위치는 C:\Program Files\nodejs\ 입니다.
설치위치 지정
사용자 설정화면 입니다. 모두 기본값을 사용하겠습니다.
- Node.js runtime : Node.js 런타임 본체입니다. - corepack manager : 패키지 관리자입니다. npm, yarn등의 패키지 관리자의 여러 버전을 설치하고, 시용여부를 지정하는 것이 가능합니다. 서로 다른 개발 또는 배포 환경에서 상호간의 설치 호환성을 유지하기 위해서 사용되어질 수 있다고 합니다. - npm package manager : 패키지 관리자 입니다. - Online documentation shortcuts : 온라인 문서에 대한 바로가기 입니다. - Add to PATH : PATH 환경변수에 등록합니다.
사용자 설정
Native 모듈들을 위한 툴을 설치할지 선택합니다. 선택하지 않겠습니다. npm 모듈중에 컴파일이 필요한 것이 있을때 필요한 도구(Python, Visual Studio Build Toos)를 자동으로 설치할지 물어 보는 것입니다.
