샌즈

import pandas as pdimport refrom sklearn.preprocessing import StandardScalerfrom sklearn.ensemble import IsolationForest# 1️⃣ CSV 불러오기 (첫 행은 조건행이므로 건너뜀)df = pd.read_csv("다이캐스팅_경진대회_공개용_251022.csv", header=1)# 2️⃣ 문자열 숫자 정리 함수def clean_numeric(x): if isinstance(x, str): if "±" in x: try: return float(x.split("±")[0]) except: return Non..

문서의 가장 기본 단위인 단어를 활용하여 문서를 표현

코사인 유사도 공식   실습 ---------------------------------------------♡ from numpy import sqrt, dotfrom scipy.spatial import distancefrom sklearn.metrics.pairwise import cosine_similaritysent_1 = [0.3, 0.2, 0.2133, 0.3891, 0.8852, 0.586, 1.244, 0.777, 0.882]sent_2 = [0.03, 0.223, 0.1, 0.4, 2.931, 0.122, 0.5934, 0.8472, 0.54]sent_3 = [0.13, 0.83, 0.827, 0.92, 0.1, 0.32, 0.28, 0.34, 0]#1. 직접 함수 정의def cal_c..

문장 간 유사도는 공통된 단어 혹은 의미를 기반으로 계산 자카드 지수 문장 간 공통된 단어의 비율로 문장 간 유사도를 정의 (0~1 사이로 정의)코사인 유사도  코사인 유사도는 고차원의 공간에서 벡터 간의 유사성을 잘 보존하는 장점이 있음 자카드 지수로 문장 유사도 측정하기--------------------------------------------------------------------------------------------------------------------전체 코드 ♥sent1 = "지우는 오늘 밥을 너무 마니 먹어서 힘들다"sent2 = "지우는 오늘 나랑 놀기로 했는데 안놀았다"def cal_jaccard_sim(sent_1,sent_2): word_sent1 = set(s..

soynlp는 한국어 단어 추출 중 발생할 수 있는 미등록 단어 문제를 해결할 수 있는 전처리 라이브러리soynlp는 학습 데이터에서 자주 발생하는 패턴을 기반으로 단어의 경계선을 구분하여 단어를 추출----------------------------------------------------------------------------------------------------------------------------------------------실습에서는 신문 기사를 학습 데이터로 사용하여 명사 목록을 학습한 뒤, 주어진 문장에서 명사를 추출할 예정from soynlp.utils import DoublespaceLineCorpus from soynlp.word import WordExtractorf..

Kkmasent = "안녕 나는 김지우야 반가워. 너의 이름은 뭐야?"kkma = Kkma()print(kkma.nouns(sent))print(kkma.pos(sent))print(kkma.sentences(sent)) 명사 추출 (nouns)품사 태깅 (pos)문장 분리 (sentences) ['안녕', '나', '김', '김지우', '지우', '너', '이름', '뭐'][('안녕', 'NNG'), ('나', 'NP'), ('는', 'JX'), ('김', 'NNG'), ('지우', 'NNG'), ('야', 'JX'), ('반갑', 'VA'), ('어', 'ECS'), ('.', 'SF'), ('너', 'NP'), ('의', 'JKG'), ('이름', 'NNG'), ('은', 'JX'), ('뭐', '..

from sklearn.feature_extraction.text import CountVectorizerdoc = ["i am very happy","this product is really great"]emotion = ["happy","extied"]cv = CountVectorizer()csr_doc_matrix = cv.fit_transform(doc)print(csr_doc_matrix)  Coords Values (0, 0) 1 (0, 7) 1 (0, 2) 1 (1, 6) 1 (1, 4) 1 (1, 3) 1 (1, 5) 1 (1, 1) 1 CountVectorizer  CountVectorizer는 텍스트 데이터를 숫자로 변환하는 도구텍스트에 나오는 **각 단어의 등장 횟수(..

[텍스트1] : 영상미가|뛰어나고|너무너무|재밌어요p(감정|텍스트) =? 나이브베이즈 기반 감정 분석은 주어진 텍스트가 특정 감정을 나타낼 확률을 예측하는 문제로 정의 베이즈 정리를 사용하여 텍스트의 감정 발생 확률을 추정 텍스트가 주어졌을 때 감정을 맞추기   [텍스트1] : 영상미가|뛰어나고|너무너무|재밌어요[텍스트 1의 감정] : 해당 감정 내 단어들이 발생할 가능성 x 감정의 발생 확률 감정의 발생 확률과 텍스트를 구성하는 단어들의 가능도(likehood)나이브 베이즈 학습나이브 베이즈 기법에서는 각 감정 내 단어의 가능도(likelihood) 를 기반으로 문장의 감정을 예측 감정 내 단어의 가능도 공식 P^(단어|감정)=감정 내 모든 단어의 빈도수/ 감정 내 단어의 빈도수import pandas..

1) 모델 학습을 위한 데이터 분할(test) 학습 데이터란 감정 분석 모델을 훈련 시키기 위해 문장과 해당 문장의 감정이 포함되어 있는 데이터셋을 의미(train) 평가 데이터란 학습된 모델의 성능을 평가하기 위해 학습에 포함되지 않은 데이터셋을 의미i didnt feel humiliated;sadness i can go from feeling so hopeless to so damned hopeful just from being around someone who cares and is awake;sadness im grabbing a minute to post i feel greedy wrong;anger i am ever feeling nostalgic about the fireplace i wil..

FastText 학습 데이터 내 존재하지 않았던 단어 벡터는 생성할 수 없는 문제-> 미등록단어문제 , out of vocabulary이 문제를 해결한 것이 FastText from gensim.models import FastTextdoc = [['서울에','살고','있는','지우는','강아지를','좋아한다']]ft_model = FastText(min_count=1, window=2,vector_size= 300)ft_model.build_vocab(doc) # 수치형 데이터로 변환 ft_model.train(doc,total_examples=ft_model.corpus_count,epochs=20)similar_word = ft_model.wv.most_similar("앨리스는")print(simi..