티스토리

ch0nny_log

검색하기

블로그 홈

ch0nny_log

chonny1210.tistory.com/m

비전공자의 우당탕 데이터분석 일지

구독자: 1

방명록 방문하기

주요 글 목록

[빅데이터분석] 딥러닝_21. 영상 인터페이스 구현 (+streamlit 생성) Daum 카페 cafe.daum.net 예제1. streamlit 에서 영상 업로드후 play 시키기 1. 깃허브에 app16.py 로 아래 코드 업로드import streamlit as st# 제목 설정st.title("Video Player App")# 파일 업로드uploaded_file = st.file_uploader("Upload a video file", type=["mp4", "mov", "avi"])# 파일이 업로드되었는지 확인if uploaded_file is not None: # 비디오 플레이어 st.video(uploaded_file)else: st.write("Please upload a video file to play.")2. streamlit 으로 app16.. 공감수 1 댓글수 2 2024. 10. 31.
[빅데이터분석] 딥러닝_20. 홈페이지에 있는 일반 상담 챗봇 만들기(+streamlit 업로드) 데이터관련 교육 카페 | [딥러닝 포트폴리오를 화려하게7] 홈페이지에 있는 일반 상담 쳇봇 만들기 - Daum 카페 Daum 카페 cafe.daum.net일반적인 회사 홈페이지에 들어가는 상담 쳇봇 기본 코드모델은 한국어를 인식하기 위한 모델이고 거기에 특정 회사에서 필요한 데이터를 기계적으로 대답하게한 코드입니다.코사인 유사도로 비슷한 질문을 찾아내어 대답합니다. 홈페이지가 식당, 병원, 기타 등이면 거기에 맞게 아래의 질문과 답변을 변경하면 됩니다.!pip install -q gradio!pip install sentence_transformers 1. 데이터 준비 우선 챗봇에 필요한 기본 데이터를 DataFrame으로 준비하겠습니다. questions 리스트와 answers 리스트를 임베딩한 후, .. 공감수 0 댓글수 0 2024. 10. 30.
[빅데이터분석] 딥러닝_19. 자연어 처리 신경망 만들어서 챗봇 만들기 04. 자연어 처리를 활용한 심리상담 챗봇 만들기의 사본Colab notebookcolab.research.google.com !pip install -q sentence-transformersimport pandas as pdfrom sentence_transformers import SentenceTransformerfrom sklearn.metrics.pairwise import cosine_similaritySentenceBERT를 이용한 문장 인코딩https://huggingface.co/jhgan/ko-sroberta-multitask jhgan/ko-sroberta-multitask · Hugging Faceko-sroberta-multitask This is a sentence-transf.. 공감수 5 댓글수 2 2024. 10. 30.
[빅데이터분석] 딥러닝_17.영상 속에서 사물인식하기 https://cafe.daum.net/oracleoracle/SpOP/370 Daum 카페 cafe.daum.net 지금 하는 내용은 1000개의 클래스를 인식하는 신경망을 이용해서 사진과 영상에서 사물 검출을 해 볼 겁니다. 1. google drive에 인식할 파일을 넣고 마운트하기from google.colab import drivedrive.mount('/content/drive') 2. 필요 모듈 설치pip install ultralytics 3. 사물 탐지 수행 후 office3_detected 결과 저장from ultralytics import YOLOimport cv2import matplotlib.pyplot as plt# YOLOv8 모델 로드 (YOLOv8n, YOLOv8s, YOL.. 공감수 0 댓글수 0 2024. 10. 28.
[빅데이터분석] 딥러닝_16. 사진 속에서 검출 인터페이스 만들기 책 그림 8-17 사물검출이란 다수의 사물이 존재하는 상황에서 각 사물의 위치와 클래스를 찾는 기술 현업사례: 1. 딥노이드 회사의 선배는 인천공항에서 위반된 물품을 사물검출하는 기술을 구현하고 유지보수를 하고 있습니다. 2. 딥노이드 회사의 폐사진에서 폐결절 부분을 찾아내는 사물검출 3. 일본에서 도심에서 거리의 유동인구를 카운트 해서 인구가 많아지면 경고 메세지를 발동 책 그림 8-181. 원본 이미지가 신경망에 입력이 됩니다.2. 입력이미지에서 후보영역(region proposals)를 여러개 추출합니다. 후보영역은 물체가 있을 가능성이 높은 부분을 뜻합니다.3. 후보영역중에 물체로 보이는 가장 확률이 높은 사진을 추출4. cnn 신경망에 입력해서 분류합니다. ■ 성능을 올리는 방법 1. .. 공감수 0 댓글수 1 2024. 10. 24.
[빅데이터분석] 딥러닝_15. 딥러닝의 역사 ▣ 고전 CNN 부터 vgg 신경망까지 소개 20년후 1994년 고전 CNN -----------------------> 2014년 영국 옥스포드 대학교 VGG 신경망 ↓ ↓ LeNet 신경망 이미지넷 대회에서 준우승한 신경망 # 4. 모델을 구성합니다. 3층 신경망으로 구성model = Sequential()model.add(Conv2D(64, kernel_size=(5,5), input_shape=(28,28,1), padding='same',.. 공감수 0 댓글수 0 2024. 10. 22.
[빅데이터분석] 딥러닝_14. 음성 분류 신경망 인터페이스 만들기 음성 분류 신경망 인터페이스 만들기◾개와 고양이 음성 분류 신경망 인터페이스 함수 만들기파일 다운로드 받기 → https://cafe.daum.net/oracleoracle/Sl3Y/600파이썬 파일은 ‘c:\\사용자\\itwill’ / 모델 파일은 ‘c:\\sound2’ 에 저장하기파이썬에서 음성인식 gui 최종.ipynb 열기 📌실습. 화면 구현하기upload_sound 함수 : 윈도우 탐색기가 열리면서 음성을 선택할 수 있는 함수sound_classify 함수 : 음성 ---> 모델 ---> 결과를 출력하는 함수upload_image 함수 생성하기#1. 필요한 패키지를 전부 임폴트 합니다. import tkinter as tkfrom tkinter import filedialogfrom tkint.. 공감수 0 댓글수 0 2024. 10. 22.
[빅데이터분석] 딥러닝_13. 코렙에서 정상 이파리와 질병 이파리 분류 신경망 만들기 ▣ 코렙에서 정상 이파리와 질병 이파리 분류 신경망 만들기 #1. 정상 이파리와 질병 이파리 데이터를 다운로드 받습니다. https://cafe.daum.net/oracleoracle/SpOP/283훈련 4000장( 정상: 2000장, 질병: 2000장 ) 테스트 100장 #2. 일반 컬러 사진을 신경망에 넣고 분류하는 모델 만드는 전체적인 과정 1. 원본 이미지를 작은 사이즈로 resize 합니다.2. image_load 함수로 사진을 숫자 행렬로 변환3. 정답 csv 파일을 생성4. 정답 csv 을 위한 인코딩5. 신경망을 생성6. 신경망에 데이터를 넣고 학습시킴7. 모델 성능 개선8. 신경망 활용 사용자 인터페이스 생성9. 전체코드를 github 에 올리기 실습 1. 구글 코렙에 /content/.. 공감수 0 댓글수 0 2024. 10. 17.
[빅데이터분석] 딥러닝_11. CNN 층 ▣ 합성곱이란 무엇인가? 합성곱 (Convolution Neural Network ) 신경망 ? Convolution 층과 pooling 층을 포함하는 신경망 ↓ ↓ 이미지의 특징을 잡아내는 역활 이미지를 선명하게 해주는 역활 지금까지 배운 신경망과 CNN 을 사용한 신경망의 차이 ? 1. 기존 신경망의 구조 ( 완전 연결 계층 : Fully Connected ) 입력층 ------> Affine -------> Relu -----> Affine ----> Relu -----> softmax ↓ 사진을 .. 공감수 1 댓글수 1 2024. 10. 15.
[빅데이터분석] 딥러닝_9. 2층 신경망 구현하기2 (오차 역전파로 2층 신경망 학습시키기) 9. 렐루 함수의 계산 그래프 신경망에서 활성화 함수가 왜 필요한지?이미지, 음성, 텍스트 입력 데이터의 중요한 부분을 파악하기 위해서 입니다.1. 고양이 이미지배경은 중요하지 않고 고양이의 귀나 입이 중요하다라는 것을 활성화 함수가 신호를 보내줌으로서 파악2. 강아지 음성강아지 음성의 배경에 들리는 차소리는 중요하지 않고 강아지 소리자체가 강아지 소리를 인식하는데 있어서 중요하다는 것을 인식3. 텍스트 데이터내가 던진 질문 데이터에서 핵심적인 단어가 무엇인지를 파악 렐루 함수 ?입력신호가 0보다 큰 값이 입력이 되면 그 값을 그대로 출력하고 0보다 작은 값이 입력이 되면 0을 출력하는 함수렐루 함수는 순전파일 때 x 가 0보다 큰값이 입력되었으면 역전파일 때 상류에서 흘러왔던 기울기가 그대로 흘러가.. 공감수 12 댓글수 2 2024. 10. 11.
[빅데이터분석] 딥러닝_8. 2층 신경망 구현하기(오차 역전파로 2층 신경망 학습시키기) ■ 2층 신경망 구현하기(오차 역전파로 2층 신경망 학습시키기) 1. 오차 역전파로 기울기를 구하는 함수 소개 기존에 배웠던 신경망이 학습되는 원리 ? 오차가 가장 작아지는 지점의 가중치를 알아내겠금 학습이 되는 원리입니다. 그래서 기울기를 구하기 위해서 4장에서 아래의 미분 함수를 만들었습니다. def numerical_diff( f, x ): h = 0.0001 return ( f(x+h) - f(x-h) ) / (2*h) 이 미분함수를 이용해서 신경망 학습을 시키게 되면 문제가 하나 있습니다. 그 문제가 뭐냐면 ? 기울기 구해야하는 가중치가 너무 많습니다. 너무 많아서 위의 함수로는 기울기를.. 공감수 1 댓글수 0 2024. 10. 10.
[빅데이터분석] 딥러닝_7. 미니배치/수치미분/사진인식(mnist) 참고 노션: 4장. 2층 신경망 구현하기(수치미분을 이용해서 학습 시키기) (notion.site) 4장. 2층 신경망 구현하기(수치미분을 이용해서 학습 시키기) | Notion신경망 학습의 원리를 이해시키기 위해서 필요한 단원gabby-nurse-0c2.notion.site import numpy as npx = np.array([ 3.0, 4.0 ])def loss_f(x): return x[0]**2 + x[1]**2▣ 미니배치 p115 ~ 116 신경망 학습 시킬때 반드시 알아야하는 용어 3가지 ? 1. 미니 배치 : 훈련 데이터의 일부만 골라서 학습 하는 방법 2. 에폭 : epoch 로 훈련 데이터 전체를 다 사용해서 학습 한것을 1에폭 3. 수치 미분 : .. 공감수 0 댓글수 0 2024. 10. 10.
[빅데이터분석] 딥러닝_6. 2층 신경망 구현하기 ■ 2층 신경망 구현하기(수치미분을 이용해서 학습 시키기) 신경망 학습의 원리를 이해시키기 위해서 필요한 단원 신경망 학습을 2가지 방법으로 시킬 수 있습니다. 1. 수치 미분을 이용한 방법(4장) --> 장점: 어떻게 학습되는지 확실히 이해할 수 있음 단점: 학습이 너무 느리다. 2. 오차 역전파를 이용한 방법(5장) --> 장점: 학습이 빠릅니다. 단점: 신경망 학습의 원리를 이해하기가 어려움 지금 현장에서 사용하고 있는 모든 신경망을 오차 역전파를 이용한 방법입니다. ▣ 크로스 엔트로피 오차함수 * 오차함수란 ? 신경망이 예측한 예측값과 진짜 정답과의 오차를 출력해주는 함수 * 오차함수의 종류 2가지 ? 1. 교차 엔트로피 오차함수(.. 공감수 1 댓글수 1 2024. 10. 7.
[빅데이터분석] 딥러닝_5. 출력층 함수 소프트 맥스 함수 ▣ 3.10 출력층 함수 소프트 맥스 함수 구현하기 * 개와 고양이를 분류하는 신경망 입력값 ----------> 신경망 --------> 출력층 함수 ------> [ 0.8 , 0.2 ] 확률값 입력값 ----------> 신경망 --------> 출력층 함수 ------> [ 0.8 , 0.2 ] 소프트 맥스 개 고양이 예제1. 출력층 함수인 소프트 맥스 함수를 파이썬으로 구현하기.1... 공감수 3 댓글수 0 2024. 10. 7.
[빅데이터분석] 딥러닝_3. 하이퍼블릭 탄젠트 함수/렐루함수 [ 복습 ] 사진 -------------------> 딥러닝 신경망 ----> 분류 음성 (CNN 신경망) 텍스트 ------------------> 딥러닝 신경망 ----> 텍스트에 대한 답변 (RNN 신경망) 뇌세포에서 활성화 함수의 역활은 입력되는 신호를 기억할지 말지를 결정하는 기능을 합니다. 기억이 되려면 강한 자극이 들어와야합니다. ■ 활성화 함수 하이퍼블릭 탄젠트 함수 시그모이드 함수는 입력값(신호)를 받아서 0~1 사이의 실수를 출력하는 함수인데 탄젠트 함수는 -1~1 사이의 실수를 출력하는 함수입니다.예제1. 하이퍼블릭 탄젠트 함수를 파이썬으로 생성하시오imp.. 공감수 2 댓글수 2 2024. 10. 4.
[빅데이터분석] 딥러닝_2. Matplotlib를 이용한 시각화 / 퍼셉트론 / 신경망 구현 / 활성화 함수 - 행렬로 변환하는 이유는 고양이사진에서 배경이 되는 검정색 부분은 학습할 필요가 없기 때문에 걸러내기 위함임■ 사진, 동영상, 음성 -> 신경망 -> 분류전기차 화재 감지관련 yolo 신경망 구현 -> 영상에서 불길이 봉면 바로 object detection 을 해서 불길이 보인다고 실시간 알람을 보낼 수 있는 기술 ■ Matplotlib 으로 그래프 그리기 신경망의 학습 성능을 평가하기 위해 평가 점수를 시각화한 라인 그래프를 작성하려고 합니다.수백 장의 사진을 신경망에 입력하여 잘 분류되고 있는지 확인하기 위해, 학습이 반복될 때마다 에폭 수가 증가함에 따라 정확도가 점점 올라가는지를 확인하기 위해 라인 그래프를 활용할 예정입니다. 예제 1. 파이썬으로 산포도 그래프 그리기1. 산포도 그래.. 공감수 0 댓글수 0 2024. 10. 2.
[빅데이터분석] 딥러닝_1. numpy 행렬 딥러닝책 : "밑바닥 부터 시작하는 딥러닝" 이 책이 딥러닝의 정석과 같은 책입니다. 딥러닝의 원리를 정말 잘 설명한 책 이 책이 전세계적으로 유명해진 이유가 ? 그림 설명이 많아서 이해하기 쉽게 구성 책의 내용은 미국 스탠포드대 딥러닝 강의를 그대로 교안으로 만든겁니다. 장점 ? 딥러닝의 원리를 정말 잘 설명 단점 ? 현재 텐써 플로우나 파이토치에 대한 코드가 없습니다. 오로지 파이썬 날코딩으로 신경망을 구현했습니다. 요즘에는 텐써플로우나 파이토치등을 이용해서 신경망을 구성합니다. 단층 신경망 0층 -----------> 1층 입력층 출력층 다층 신경망 0층 ------> 1층 ----------> 2층 입력층 은닉층 .. 공감수 7 댓글수 3 2024. 9. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.