디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

헌재게시판 여론 탄핵 반대: 1997, 탄핵 찬성: 82앱에서 작성

야갤러(106.102) 2024.12.19 18:59:24
조회 39 추천 0 댓글 0

import requests

from bs4 import BeautifulSoup

import transformers

import torch

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments

from datasets import Dataset


train_data = {

'text': [

"탄핵반대 ! 생중계 찬성", "탄핵 결사 반대!!!!", "대통령 탄핵반대 재판 생중계 요청",

"탄핵 반대 생중계하라", "생중계", "탄핵 반대 탄핵찬성하는놈들 CIA 신고하자. 미국 못 간다.",

"윤석열대통령 탄핵반대", "간첩때려잡자", "탄핵 반대 내란죄는 국정을 마비시킨 민주당이다",

"존경하는 6인 재판관님 선거조작 선관위수사를 막지 마세요[탄핵기각]생중계촉구", "탄핵무효",

"존경하는 재판관님 탄핵찬성입니다", "탄핵 찬성입니다", "찬성합니다", "탄핵 찬성합니다.",

"내란수/괴 독재자 사형 탄핵!!!!!!!", "토종한국인은 윤정은의 탄핵 찬성"

],

'labels': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

}


# Prepare the dataset

train_dataset = Dataset.from_dict(train_data)


# Load pre-trained KoBERT model and tokenizer

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # Check if GPU is available

tokenizer = BertTokenizer.from_pretrained('kykim/bert-kor-base')

model = BertForSequenceClassification.from_pretrained('kykim/bert-kor-base', num_labels=2).to(device) # Move model to GPU


# Tokenize the dataset

def tokenize_function(examples):

return tokenizer(examples['text'], padding='max_length', truncation=True)


train_dataset = train_dataset.map(tokenize_function, batched=True)


# Training arguments

training_args = TrainingArguments(

output_dir='./results',

num_train_epochs=3,

per_device_train_batch_size=8,

evaluation_strategy="no",

logging_dir='./logs',

logging_steps=10,

)


# Trainer setup

trainer = Trainer(

model=model,

args=training_args,

train_dataset=train_dataset,

)


# Fine-tuning the model

trainer.train()


# Base URL for the site


anti_count = 0

pro_count = 0

# Initialize a list to store the last 10 titles

recent_titles = []


# Example function for classification

def classify_title(title):

inputs = tokenizer(title, return_tensors="pt", truncation=True, padding=True, max_length=128).to(device) # Move inputs to GPU

with torch.no_grad():

outputs = model(**inputs)

prediction = torch.argmax(outputs.logits, dim=-1).item()

return "찬성" if prediction == 1 else "반대"


# Loop through the first 1000 pages

for page in range(1, 1001):

if (page % 10) == 0:

print(f"{page}페이지까지 분석 | 탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

url = base_url.format(page)

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')


# Find all rows containing title

rows = soup.select('table tbody tr')


# Extract and count titles

for row in rows:

title = row.select_one('td:nth-child(2)').text.strip()


# Skip the title if it matches any of the last 10 titles

if title in recent_titles:

# print("중복된 title 무시")

continue

# Add the current title to the list of recent titles

recent_titles.append(title)

if len(recent_titles) > 10:

recent_titles.pop(0) # Remove the oldest title if we have more than 10


label = classify_title(title)

if label == "반대":

anti_count += 1

elif label == "찬성":

pro_count += 1


print(f"탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

​실명 인증 든든하다 ㅋㅋㅋㅋ

- dc official App

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 여론 선동에 잘 휘둘릴 것 같은 스타는? 운영자 24/12/16 - -
16011752 ㅅㅂ ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:29 20 0
16011751 짱깨 < 팔다리 다 토막낸뒤 잘린부위에 신나붓고 불질러야됨 ㅇㅇ갤로그로 이동합니다. 21:29 11 0
16011750 외질혜 극단적시도 ㅇㅇ(211.235) 21:29 58 0
16011749 손가락잘린거 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:29 36 0
16011747 진지하게 김어준 권력서열 몇위냐 야갤러(118.235) 21:29 22 1
16011746 매울신이노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:29 16 0
16011745 펄ㅡ럭 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:28 20 0
16011744 여성시대 < 별 이유없어도 CIA 제보해야하는 이유 ㅇㅇ갤로그로 이동합니다. 21:28 49 5
16011743 꼭지 야갤러(59.8) 21:28 18 0
16011742 손가락 십 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:28 19 0
16011740 세무사아니잖아 ㅡ 응 ㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 21:28 20 0
16011739 사범 머가리먼데 ㅅㅂ ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:28 12 0
16011738 지혜누나 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(221.152) 21:28 25 0
16011737 혹시몰라서 윤두창디스 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:28 21 0
16011736 밑바닥탈출임 ㅇㅇ 밑바닥탈출갤로그로 이동합니다. 21:28 25 0
16011735 독립운동가 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:28 15 0
16011733 자영업자들 살릴수 있는 방법.jpg [1] (39.126) 21:27 46 2
16011732 시즌 1246번째 거짓말 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(59.22) 21:27 10 0
16011731 나라지킨사람 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:27 17 0
16011729 이대남이 역대 최악의 세대인 이유 ㅇㅇ(39.126) 21:27 34 1
16011728 반일 유충ㅋㅋㅋㅋㅋㅋㅋ 말랑잼갤로그로 이동합니다. 21:27 11 0
16011727 코건몰라요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:27 18 0
16011726 ㅈㄴ웃기노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:27 18 0
16011724 뭔지랄이노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:27 19 0
16011723 김어준 오늘 방송 자 [1] ㅇㅇ(211.62) 21:27 60 3
16011722 왔다 밑바닥탈출 밑바닥탈출갤로그로 이동합니다. 21:27 24 0
16011721 이순신 "왜는 간사하기 짝이 없다" [8] 야갤러(61.77) 21:27 43 0
16011720 가사는모르는데 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:26 18 0
16011719 ???: 2찍 cia 선동 시발 수준 떨어져. [2] 롤대남의조선멸망기원자갤로그로 이동합니다. 21:26 94 11
16011718 하얼빈 공짜바이럴 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:26 28 0
16011717 니들이 정권잡으면 바꾸던가 책임지기는싫으니까 ㅋㅋㅋ ㅇㅇ(118.235) 21:26 15 0
16011715 노래 ㅅㅂ ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [1] ㅇㅇ갤로그로 이동합니다. 21:26 27 1
16011714 알리 알급날 연말결산 코드 모음 최종본OKbh 야갤러(175.223) 21:26 12 0
16011713 좆권도사범 머가리머노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:26 15 0
16011712 한국도 매카시즘 발동해라 ㅇㅇ(39.125) 21:26 19 0
16011711 좆권도 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:25 20 0
16011710 야갤 틀구이들보다 7살짜리 애새끼가낫노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:25 28 0
16011709 반일 유충ㅋㅋㅋㅋㅋ 말랑잼갤로그로 이동합니다. 21:25 14 0
16011708 20만원ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 21:25 28 0
16011707 자랑스러운거자나 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:25 22 0
16011706 미친놈이고 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:25 18 0
16011705 역할대행ㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 21:25 28 0
16011704 ㅈㄴ웃기네 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㄴ ㅇㅇ갤로그로 이동합니다. 21:25 18 0
16011703 문재앙 새끼땜에 전람회 서동욱 죽었네 [1] ㅇㅇ(223.39) 21:24 51 3
16011702 지랄하지 말고 윤석열 대통령 살리고 싶으면 클릭 ㅇㅇ(223.39) 21:24 27 2
16011701 일뽕 틀구이들 화들짝 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:24 25 0
16011700 가상현실 나오면 보추 되고 싶음 ㅇㅇ(122.43) 21:24 41 0
16011699 ㅅㅂ ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:24 24 0
16011698 안중근이노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 21:24 31 0
16011697 너어터터톻ㅇㅎㅎㅍㅇㅇ ㅇㅇ(118.235) 21:24 12 0
뉴스 [포토] 김성제 감독, 박지환...'연출에 도움 많이 줘 고마워' 디시트렌드 18:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2