자연어란? 자연어(Natural Language)는 사람과 사람이 일상 생활에서 서로 대화하는데 사용하는 언어를 뜻함 자연어 처리 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일 전처리를 위한 형태소 분석, 개체명 인식, 구문 분석부터 음성 인식, 내용 요약, 번역, 사용자의 감성 분석, 텍스트 분류 작업(스팸 메일 분류, 뉴스 기사 카테고리 분류), 질의 응답 시스템, 챗봇 등의 응용분야에 활용이 됨 전처리 이해 토큰화 주어진 데이터를 토큰(Token)이라 불리는 단위로 나누는 작업 토큰이 되는 기준은 다를 수 있음(어절, 단어, 형태소, 음절, 자소 등) 정제 불필요한 데이터(Noise data)를 제거하는 작업 정규화 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만들어주는 작업 문..

단어표현방법(word representation) DTM: Document-Term Matrix (문서 단어 행렬) LSA: Latent Semantic Analysis (잠재 의미 분석) N-gram : N(숫자)가 2라면 2글자씩 토큰으로 만든다. Glove : Count랑 Word2Vec이랑 합친것 LSA : 문서 전체에서 count하는 방법 Bag of Words (BoW) 단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도를 활용하는 단어 표현 방법 단어들의 가방이라는 뜻으로 모든 단어를 가방에 넣어서 표현한다는 의미 BoW를 만드는 과정 각 단어에 고유한 정수 인덱스를 부여 → one hot vector에서 처음에 vocab을 생성했던 부분과 동일 각 인덱스의 위치에 단어 토큰의 등장 횟..

word2vec 실습 다운로드 https://dumps.wikimedia.org/kowiki/latest/ kowiki-latest-pages-articles.xml.bz2 다운로드 받고 Zip 파일 압축 풀지 않고 바로 붙여 넣기 wikimedia 데이터를 받은 후 바로 사용이 불가능하다. → 데이터 전처리를 위해 아래의 github 주소의 코드를 다운로드 (wikimedia 데이터를 전처리, 추출하기 위한 소스코드) https://github.com/MouhamadAboShokor/wikiextractor 다운로드 ZIP → 압축 풀고 폴더 복붙 파이참에서 터미널 열기 day3 폴더로 이동 → cd C:\Python\nlp2\day3 python -m wikiextractor.WikiExtractor..

human: 주식투자를 하고 있는데 잃지 않는 투자법이 있을까? 챗GPT: 주식투자에서는 절대적으로 잃지 않는 투자법은 존재하지 않습니다. 모든 투자는 리스크가 따르기 때문입니다. 하지만 투자자가 일정한 기준을 지켜가며 투자를 하면서 손실을 최소화할 수 있습니다. 아래는 투자자가 투자를 할 때 고려할 수 있는 몇 가지 방법입니다: 1. 적절한 투자금액 설정: 투자자의 자본금 중 일정 금액 이상을 투자하지 않는 것이 좋습니다. 또한 투자 금액은 자신이 감당할 수 있는 범위 내에서 결정하는 것이 중요합니다. 2. 투자 전 분석: 투자 전 기업의 재무상태, 경영상황, 업종 동향 등을 분석하여 투자 가능성과 위험성을 파악하는 것이 중요합니다. 3. 다양한 분산 투자: 여러 개의 주식에 투자하여 분산 투자를 하는..

GPU와 CUDA에 대한 간략하게 알아보려면 https://hyowong.tistory.com/entry/%EC%99%9C-GPU%EC%99%80-CUDA%EA%B0%80-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5-%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D%EC%97%90-%ED%95%84%EC%9A%94%ED%95%98%EB%82%98 왜 GPU와 CUDA가 인공지능 프로그래밍에 필요하나? (질문) 왜 GPU와 CUDA가 인공지능 프로그래밍에 필요하나? (답변) 다음은 open.ai에서 개발한 chat gpt가 대답한 내용이다. GPU와 CUDA는 인공지능 개발에서 사용되는 이유는 크게 두 가지로 나눌 수 있습 hyowong.tistory...

(질문) 왜 GPU와 CUDA가 인공지능 프로그래밍에 필요하나? (답변) 다음은 open.ai에서 개발한 chat gpt가 대답한 내용이다. GPU와 CUDA는 인공지능 개발에서 사용되는 이유는 크게 두 가지로 나눌 수 있습니다. 첫째, 딥러닝 모델은 대규모의 데이터와 복잡한 계산이 필요하기 때문에, 고성능 컴퓨팅 자원이 필요합니다. 따라서 GPU는 CPU에 비해 많은 수의 코어를 가지고 있고, 병렬 처리를 위해 설계되어 있어 대규모 데이터의 병렬 처리와 계산에 효과적입니다. 이에 따라, 딥러닝 모델 학습에 사용되는 대용량 데이터의 처리 속도를 높이는데 유용합니다. 둘째, CUDA는 GPU에서 병렬 처리를 위해 사용되는 프로그래밍 언어입니다. CUDA는 GPU에서 동작하는 커널 함수를 작성할 수 있도록 ..