DDD

우선 첨에 데이터 받아올 때 에러 usehistory를 사용했었는데 import React, { useState, useCallback } from 'react'; import { GradientBg1 } from "../icons/GradientBg1/GradientBg1.jsx"; import ResultSection from './ResultSection'; import { useHistory } from 'react-router-dom'; import '../css/section.css'; import '../css/index.css'; function InputSection() { const [curKeywords, setCurKeywords] = useState(""); const [searc..

우선 연결 절차 1. figma에서 원하는 레이어 선택 후 anima plugin을 실행 2. Anima에 가입이 되어 있다는 전제 하 Run -> Get code -> 원하는 코드툴 선택 (html, vue, react, no care) -> anima로 연결 3. pro 를 사용한다면 export code를 하면 되지만 난 그냥 코드를 CnP 해주었다. 4. VSC에서 실행시 우선 node.js 설치해주기 그 다음에 README.md 대로 해주면 된다. npm install 다음에 npm run dev 에서 오류가 나는 경우가 있는데, package.json에서 scripts 부분에 뭔가 오류가 있다고 하는데 npm install -g parcel-bundler 나는 parcel관련 설치해주면 해결이..

dev tools로 잘 된다 문제가 뭐 였냐면 띄어쓰기 문제였음 저 "text"랑 "Title" 검색할 때 공백이 있어야... ngram 으로 나누어 지던디... PUT /book_ngram { "settings": { "analysis": { "tokenizer": { "my_tokenizer": { "type": "ngram", "min_gram": 3, "max_gram": 3 } }, "analyzer": { "combined_analyzer": { "type": "custom", "tokenizer": "nori_tokenizer" } } } }, "mappings": { "properties": { "Title": { "type": "text", "analyzer": "combined_anal..

2/3 # search/views.py from ast import Match from django.shortcuts import render from django.views import View from django.views.generic import TemplateView from rest_framework import generics from elasticsearch_dsl import Search, Q from .serializers import BookSerializer import sys from os.path import abspath, dirname # 현재 파일의 경로를 통해 프로젝트 루트 디렉토리를 찾음 PROJECT_ROOT = dirname(dirname(abspath(__file..

https://ksb-dev.tistory.com/309 엘라스틱서치 8.X 도커로 무작성 실행해보기 1. 개요 검색엔진으로 유명한 엘라스틱 서치(Elastic Search)를 도커로 실행해 볼 것입니다. 엘라스틱 서치 버전 8 부터 Security가 default로 설정되어 있기 때문에, 이전 버전과 달리 비밀번호를 설정해 ksb-dev.tistory.com https://simpleisbetterthancomplex.com/tutorial/2018/12/19/how-to-use-jwt-authentication-with-django-rest-framework.html How to Use JWT Authentication with Django REST Framework JWT stand for JSON..

Elasticsearch NLP 검색을 접목한 ChatGPT 답변을 Python 코드로 구현 하는 원래 코드 ↓ # openai, streamlit, localtunnel 설치 !pip install openai==0.28 !pip install streamlit !npm install localtunnel !pip install -U typing_extensions !pip install elasticsearch !pip install googletrans==4.0.0-rc1 # ↓↓전체 코드 작성 완료 후 아래 주석 해제하고 실행↓↓ %%writefile elastic_gpt_app.py # ↑↑ 전체 코드 작성 완료 후 위 주석 해제하고 실행 ↑↑ import os import streamlit a..

reference https://blog.nerdfactory.ai/2019/04/29/django-elasticsearch-restframework.html 너드팩토리 너드팩토리에서 운영하는 블로그 입니다. blog.nerdfactory.ai MacOS 기준으로 진행했다. 0. 기본장고 세팅하기 우선 가상환경 활성화하기 python3 -m venv myvenv #myvenv라는 가상환경 만들기 source myvenv/bin/activate 활성화하는 코드인데 저 디렉터리 순서는 잘 맞는지 어째서인지 저 코드로 한번에 안되길래 그냥 bin들어가서 source activate로 활성화 해줬다. 그리고 애당초 myvenv\Scripts\activate 이 명령어는 window용이라 안된다. django-a..

Django로 API 서버를 구축하고, Elasticsearch와 Docker를 사용하여 n-gram 검색과 `analysis-nori` 형태소 분석기를 도입 1. Django 프로젝트 및 앱 생성 django-admin startproject myproject cd myproject python3 manage.py startapp search 2. Django 앱 설정 - `settings.py` 파일에서 앱과 REST framework를 설정 # myproject/settings.py INSTALLED_APPS = [ # ... 'rest_framework', 'search', ] REST_FRAMEWORK = { 'DEFAULT_PAGINATION_CLASS': 'rest_framework.pagi..

GCP 도메인 못 따는구나 스타트업... 예창패 초창패는 사더라도 서버는 못 삼 SAP는 단답 문제가 없구나~(SAP인데 이것도 몰라? 하는 공격 받을 수도~) 첫 기업은 나를 택한 기업 중에 내 도메인을 키워줄 수 있는~ 그래야 나중에 대기업 이직했을 때 돈 더 받고 간다~ 외국계는 내가 할 일을 찾아서 하고 보고하는 추가근무하는데 추가근무로 할당 안받는 실력 키워서 대기업 이직을 추천 3tier 4tier (n계층) SA/SRE https://blog.spaceone.megazone.io/tech-blog-devops-vs-sre SpaceONE Blog (스페이스원 공식 블로그) Multi-Cloud Management Platform (멀티클라우드 관리 플랫폼) blog.spaceone.megaz..

NLP Sneak peek NLP Task - 기계는 사람처럼 언어를 학습하지 않아서 단계를 나누어 줘야 함 - low-level parsing : 문장분리/어근추출 - word and phrase level : 고유명사인식/형태소 분석/명사구 단위 분리/의존 구조 분석/참조 관계 분석 - sentence level : 감정 분석/기계 번역 - multi-sentence and paragraph level : 모순 관계 예측/질의 응답/대화형 챗봇/전문 요약 AI 관련 아이디어는 너무 길면 그 아이디어 빨리 쇠퇴함... 1-2달만 잡고 빨리 빨리 ... 하는 게 좋다! word Embedding - BoW(bag of words) 벡터화 - 기계가 실제로 이해할 수 있도록 - one-hot vector ..

엘라스틱 = 서치 플랫폼 어떤 식으로 접근해야하는지 그 틀에 대한 설명 ES Cluster = 분산처리 아키텍처 하나의 서비스를 구성하기 위해 여러 개의 엔티티를 구성하는 게 분산처리 아키텍처 외부에서 보기에는 엘라스틱 클러스터를 쓴다 인데 그 안에는 노드가 여러 개 있는 어플리케이션이 디스크에서 구동되면 엄청 느림 크게 데이터가 퍼너넌트하게 저장되어있는 SSD... 그걸 CPU가 읽어서 메모리에 올리고 실제 구동을 하는 CPU ES 가 자바로 구현이 되어있음 그래서 JVM 위에 구동이 돼서 그 JVM 자체도 메모리 위에... 그래서 이 위에서 ES서치 놀아라 어디서 문제가 발생한건지 narrow down 해서 좁혀가면서 문제 찾아갈 수도 있음 ES > ES Cluster > ES node 과연 ES 서..

클러스터 - 엘라스틱에서 구성되는 큰 덩어리 노드 - 보통은 서버 한 대에 한 노드로 기동되는 단위로 쪼개짐(서버하나당 노드 두 개 올라갈 수 있으나 보통 내려가는 게 서버라서 하나씩을 권장) 노드에는 데이터들이 인덱스형태로 저장됨 인덱스는 샤드라는 기본 단위로 쪼개짐 샤드 안에는 데이터들이 도큐먼트 형식으로 쌓임 세 줄 넣으면 도큐먼트 세 개 생기는... 시스템 로그는 라인바이 라인으로 하나씩 들어갈 때마다 늘어남 그게 인덱스 하나에 쌓임? 노드- 클러스터 구성 단위 중 하나 같은 클러스터로 묶을 수 있음 ES는 반드시 클러스터로 묶어줘야 한 노드가 죽어도 다른 노드가 실행되어서 홀수개이자 세 개 이상만 되면 큰 문제 없음 http 밖에서 붙을 땐 9200, 노드끼리는 tcp 9300 (기본 포트들) ..

*참고 이론 logstash 생략가능이나 붙이는 게 좋음 input/filter/output 이거말고 없음 beats - logstash - elasticsearch - kibana cloud에서는 서치랑 키바나는 기본제공 beatraw 수집... 인데 beat도 생략 가능 1. elastic cloud / aws 로그인 2. ec2 생성 3. ec2 연결 누르기 4. java 11 ver download Java 11 설치 (EC2) sudo su yum install java-11-amazon-corretto.x86_64 y su ec2-user 5. logstash download -> linux 버전으로 다운로드 버튼 링크 복사 -> wget 링크주소 wget https://artifacts.el..

12/27 엘라스틱, 정제하고 적재하고 어떻게 시각화… 그게 엘라스틱. 적재가 모토인데 빠른서치가 가능 엘라스틱 내부 자체에 시각화 툴을 제공함. 그 툴을 사용해도 되지만 웹 앱 새로운… 그걸로 하는 것도 괜찮다~좋다~ Big data 정형/비정형 데이터 매일 생성됨. EB / PB단위로 실시간 대용량 데이터 분석할 때 엘라스틱 검색 고도화해서 성능 좋아짐 Elasticsearch 검색 엔진은 아니긴한데 검색 엔진이라고 소개 대외서비스 - 검색포탈/sns소셜서비스/뉴스백과사전 등등 대내서비스 - 사내포탈/개발소스 로그 통합검색/업무마케팅 자료분석 오늘날 데이터 시장 - 대다수의 서비스에서 기본제공/정형비정형데이터 관리/키워드 중심의 데이터검색/입력 키워드 중심의 연관관계 분석 통한 데이터 검색 초기 데이..