목록NLP (2)

준비하는 대학생

[자연언어처리] 피드 포워드 신경망(MLP, CNN)

피드 포워드 신경망, 특히 다층 퍼셉트론(MLP)은 기계 학습 분야에서 분류와 회귀 문제를 해결하기 위해 널리 사용되고 있습니다. 이러한 신경망은 입력 벡터를 받아 여러 개의 숨겨진 층을 거치면서 변환을 수행하고, 마지막으로 출력 층을 통해 예측을 수행합니다. 각 층은 일련의 노드(또는 뉴런)로 구성되며, 각 노드는 가중치와 활성화 함수를 통해 이전 층으로부터의 신호를 변환합니다. 다층 퍼셉트론의 기본 구조 MLP의 기본 구성 요소는 다음과 같습니다. 입력 층: 실제 데이터를 네트워크에 주입하는 레이어입니다. 숨겨진 층: 하나 이상의 층으로 구성되며, 각 층은 여러 노드로 구성됩니다. 이 노드들은 가중치와 함께 활성화 함수를 통해 입력을 처리합니다. 출력 층: 최종 예측을 수행합니다. 분류 문제의 경우,..
Programming/NLP 2023. 11. 25. 11:12
[자연어 처리] 웹 스크레이핑 기초 - 1

웹 스크레이핑과 웹 크롤링 웹에서 데이터를 수집하는 방법에는 크게 웹 스크레이핑과 웹 크롤링이 있습니다. 이 두 용어는 종종 혼용되어 사용되지만, 명확한 차이점이 있습니다. 웹 스크레이핑은 특정 웹사이트에서 원하는 정보를 직접 추출하는 것을 의미합니다. 예를 들어, 영화 리뷰, 뉴스 기사, SNS 데이터 등을 수집할 때 사용합니다. 반면, 웹 크롤링은 웹 스크레이핑보다 넓은 범위의 데이터를 시스템적으로 수집하는 것을 말합니다. 이는 주로 검색 엔진에서 사용되며, 연결 구조를 파악하고 인덱싱 하는 데 사용됩니다. 다양한 데이터 수집 방법 RSS 피드: 웹 사이트의 업데이트를 XML 형식으로 제공합니다. OCR: 이미지나 PDF 내의 문자를 인식합니다. 개인화된 데이터: 사용자 동의 하에 개인화된 텍스트 데..
Programming/NLP 2023. 9. 14. 10:35
이전 Prev 1 Next 다음