[Add] Korean FineWeb-Edu Demo (HF: datasets/eliceai/korean-fineweb-edu-demo) #918

GitHub 저장소 URL

https://huggingface.co/datasets/eliceai/korean-fineweb-edu-demo

분류 (모듈)

data-storage (데이터 & 저장소)

카테고리

datasets-tools (학습 데이터셋 및 관련 도구)

설명 (선택)

영어 교육용 웹 코퍼스 FineWeb-Edu를 Qwen3-Next-80B-A3B-Instruct로 한국어 번역한 데이터셋의 약 5%(약 30GB) 샘플입니다. 코드 스니펫과 마크다운 형식을 보존하도록 번역되었으며 text 필드 하나로 구성됩니다.

체크리스트

• AI와 직접 관련된 오픈소스 프로젝트입니다
• GitHub 저장소가 공개(public) 상태입니다
• 위에서 선택한 분류가 적절합니다

추가 컨텍스트 (검토용)

• 기업/기관: 엘리스그룹 (NIPA 국내 기업 AI 오픈소스 목록, 엑셀 86행)
• Hub: HuggingFace dataset
• Likes: 12
• Downloads (30일): 115
• License: apache-2.0 (HF 메타데이터) / MIT (카드 본문 표기)
• Pipeline: N/A
• Last Modified: 2026-01-01
• koreanSupport: true (데이터셋 카드 language: ko, 한국어 번역 코퍼스이며 카드 본문도 한국어 제공)
• 제안 태그: korean, pretraining-corpus, education, fineweb, translation

Star 기준(1,000개)과 무관하게 국내 프로젝트 목록 등재를 위해 등록하는 이슈입니다. HuggingFace URL 항목은 HF 지원 PR이 머지된 뒤에 /approve 해야 합니다.

분류 근거

• 엑셀 분류: 데이터 & 저장소 > 학습 데이터셋 및 관련 도구 → 검토 결과 적절
• FineWeb-Edu를 한국어로 번역한 코퍼스의 5% 샘플 데이터셋이므로 학습 데이터셋 카테고리가 맞습니다.
• 데이터 확인 사항: J열이 별개 데이터셋(eliceai/korean-webtext-edu, 87행 대상)을 가리킵니다. 라이선스가 불일치합니다. Excel은 MIT, HF 메타데이터는 apache-2.0, 카드 본문은 MIT로 서로 다릅니다. 원본 FineWeb-Edu(HuggingFaceTB/smollm-corpus)는 ODC-By이므로 재라이선스 근거 확인이 필요합니다. 카드가 원본으로 링크한 전체본 eliceai/korean-translated-fineweb-edu-dedup은 공개 API로 조회되지 않습니다(비공개 또는 미공개).