Menyiapkan halaman...

Pustaka

MEA Ecosystem · Dataset Terbuka · Hugging Face Terhubung

Pustaka

Korpus teks terbuka berskala besar untuk melatih model bahasa — mencakup web, kode, matematika, instruksi, hukum, dan Wikipedia dalam lima bahasa.

Lihat Dataset di Hugging Face Jelajahi File & Shard GitHub
📥 Unduhan: 93.618 Live
💾 Ukuran: 1,22 TB Live
📁 Shard: 121 file Live
⭐ Likes: 3 Live
idPerpustakaan terbuka untuk siapa saja.
enAn open library for everyone.
ja誰にでも開かれた図書館。
ko모두를 위한 열린 도서관.
zh面向所有人的开放图书馆。

Skala & Sinkronisasi Hub

Diukur, bukan diperkirakan

Statistik korpus diambil dan disinkronkan secara otomatis langsung dari Hugging Face Hub Dataset API (meaecosystem/pustaka) serta diukur menggunakan tokenizer resmi Pustaka.

Sinkronisasi Otomatis Aktif
Diperbarui di HF: 11 Okt 2026 • Dicek: Baru saja
Tokenizer
~20,15B Token (estimasi) Rasio kompresi sampel korpus
Terkurasi
~31,5 Jt Dokumen Multi-bahasa terdeduplikasi
Live HF
1,22 TB Penyimpanan Korpus Live dari usedStorage
Live HF
93.618 Total Unduhan Komunitas Hugging Face
Live HF
121 File & Shard Aktif Pecahan .txt.gz & .jsonl.gz
Cakupan
5 Bahasa ID, EN, JA, KO, ZH
Live HF
3 Suka / Bintang Hugging Face Community
Tokenizer
131.072 Vocab Tokenizer Byte-Level BPE tanpa unk

Struktur

Apa saja isinya

Tujuh kategori corpus, dikurasi dan dibersihkan dengan pipeline standar MEA Ecosystem.

Corpus Bahasa Pecahan Shard Keterangan
corpus-bahasa-indonesia id
11 shard
CulturaX, Indo4B, CC-News, Wikipedia, Kaskus WebText, Kamus Alay
corpus-bahasa-indonesia-native id
17 shard · crawling
Common Crawl langsung — lisensi bersih tanpa batasan non-komersial
corpus-code —
18 shard
10 bahasa pemrograman (Python, JS, TS, HTML, CSS, Java, Go, Rust, C++, SQL)
corpus-math en
3 shard
GSM8K, NuminaMath-CoT format JSONL
corpus-instruct id, en
4 shard
Dolly-15k, Alpaca-cleaned-Indonesian, OIG format JSONL
corpus-hukum ja, en
4 shard
Perundang-undangan Jepang dan Amerika Serikat format JSONL
wikipedia ja, ko, zh
3 shard
Wikipedia multi-bahasa (Jepang, Korea, Mandarin) di luar Bahasa Indonesia

Repositori Terbuka

Jelajahi File & Shard Hugging Face

Seluruh pecahan korpus dapat langsung diunduh atau distreaming dari repositori Hugging Face Hub (meaecosystem/pustaka). Cari dan filter shard di bawah ini secara real-time.

Path File Shard Kategori Format Tautan Langsung
Menampilkan 10 file
Python — Cara Streaming Dataset Langsung dari Hugging Face Hub 
from datasets import load_dataset

# Streaming langsung pecahan korpus tanpa perlu mengunduh seluruh 1,22 TB
dataset = load_dataset(
    "meaecosystem/pustaka",
    data_files="corpus-bahasa-indonesia-native/*.txt.gz",
    split="train",
    streaming=True
)

for sample in dataset:
    print(sample["text"][:300])
    break

Lisensi

Bebas dipakai, termasuk komersial

Hasil kurasi Pustaka dirilis di bawah MEA Ecosystem Open License (MEA-OL) — bebas digunakan untuk keperluan apa pun dengan syarat atribusi. Materi teks asli dari tiap sumber tetap mengikuti lisensi aslinya masing-masing.

Baca rincian lisensi lengkap