DeepSeek Merilis TileKernels Secara Open Source, Pustaka Kernel GPU untuk Pelatihan dan Inferensi Model Besar

Pesan Gate News, 23 April — DeepSeek telah merilis TileKernels sebagai open source di bawah lisensi MIT, sebuah pustaka kernel GPU yang ditulis dalam TileLang untuk pelatihan dan inferensi model bahasa besar. TileLang adalah bahasa pemrograman khusus domain yang dikembangkan oleh tim tile-ai untuk mengekspresikan kernel GPU berperforma tinggi dalam Python. DeepSeek menyatakan bahwa sebagian besar kernel dalam pustaka tersebut telah mendekati batas performa perangkat keras pada kepadatan komputasi dan bandwidth memori, dengan sebagian yang sudah dideploy pada operasi pelatihan dan inferensi internal.

Pustaka ini terdiri dari enam kategori kernel: MoE (mixture of experts) gating dan routing, termasuk pemilihan expert Top-k, pemetaan token-ke-expert, dan expand/shrink terfusi dengan normalisasi bobot; kuantisasi yang mendukung format FP8, FP4, dan E5M6 dengan kuantisasi per-token, per-block, dan per-channel, termasuk operasi kuantisasi terfusi SwiGLU+; transpose batch; Engram gating dengan propagasi maju/mundur RMSNorm terfusi dan pengurangan gradien bobot; Manifold HyperConnection dengan normalisasi Sinkhorn dan split/terapkan campuran; serta antarmuka autograd tingkat tinggi yang membungkus kernel tingkat rendah menjadi lapisan yang dapat dilatih.

Engram dan Manifold HyperConnection adalah komponen proprietary dari arsitektur model DeepSeek, dengan detail implementasi yang untuk pertama kalinya diungkapkan secara publik. Pustaka ini memerlukan GPU arsitektur NVIDIA SM90 atau SM100 (H100/H200 atau seri Blackwell), CUDA Toolkit 13.1 atau lebih tinggi, serta PyTorch 2.10 atau lebih tinggi.

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.

Artikel Terkait

XRP Breakout Bertahan Saat Pemungutan Suara Pinjaman XRPL Mendapat Momentum

Wawasan Utama XRP mempertahankan kekuatan mingguan di atas mata uang kripto utama karena harga bertahan di atas EMA kunci, yang mencerminkan momentum yang berkelanjutan meskipun terjadi penurunan harian kecil dalam sesi perdagangan. Validator XRPL melanjutkan peningkatan layanan pinjaman melalui XLS-65 dan XLS-66, memperkenalkan brankas likuiditas terpooling dan f

CryptoNewsLand54menit yang lalu

XRP Breakout Bertahan saat Pemungutan Suara Pinjaman XRPL Mendapat Momentum

XRP menunjukkan kekuatan mingguan, diperdagangkan di atas EMA setelah keluar dari descending wedge; XRPL maju dengan peningkatan lending XLS-65/66 dengan pooled vaults dan fixed-term loans; derivatif meningkat dalam volume, open interest, dan aktivitas opsi. Abstrak: Laporan ini mencatat momentum mingguan XRP yang terus-menerus dan kekuatan harga di atas moving average utama setelah terjadinya breakout dari descending wedge. Laporan ini membahas validator XRPL yang memberikan suara pada XLS-65 dan XLS-66, sehingga memungkinkan lending native, pooled liquidity vaults, dan fixed-term loans untuk memperluas aktivitas keuangan on-chain. Laporan ini juga melaporkan meningkatnya partisipasi derivatif, dengan volume perdagangan yang lebih tinggi, open interest, dan lonjakan aktivitas opsi, yang menunjukkan peningkatan penempatan trader untuk breakout lanjutan.

CryptoNewsLand55menit yang lalu

MagicBlock Meluncurkan Mirage, Alat Pembayaran Privasi Berbasis Command-Line untuk Solana

Pesan Berita Gate, 23 April — MagicBlock telah merilis Mirage, sebuah alat pembayaran privasi berbasis command-line yang dirancang untuk jaringan Solana. Alat ini memungkinkan pengguna membuat dompet, menyetor dana, dan mengirim transaksi privat melalui perintah terminal, bot, atau agen AI. Mirage dibangun di atas Private

GateNews1jam yang lalu

Aave Menghentikan Operasi Cadangan rsETH di Seluruh Ethereum, Arbitrum, dan Jaringan Lainnya untuk Mengurangi Risiko Sistemik

Berita Gate, 23 April — Aave mengumumkan telah menghentikan operasi terkait cadangan rsETH di seluruh jaringan Ethereum mainnet, Arbitrum, Base, Mantle, dan Linea untuk mengurangi risiko sistemik selama proses pemulihan aset. Langkah ini bertujuan untuk mempertahankan dana tambahan saat rencana pemulihan sedang

GateNews1jam yang lalu

Asosiasi Morpho Akan Melakukan Serangkaian Transfer Dompet dalam Beberapa Minggu Ke Depan untuk Pengelolaan Dana

Pesan Berita Gate, 23 April — Asosiasi Morpho akan melakukan serangkaian transfer dari dompet milik asosiasinya selama beberapa minggu ke depan sebagai bagian dari operasi pengelolaan dana rutin.

GateNews2jam yang lalu

Ekonom Kepala Circle Mengusulkan Kenaikan Tarif USDC di Aave di Tengah Dampak KelpDAO

Berita Gate pada 23 April — Gordon Liao, ekonom kepala Circle, telah mengusulkan menaikkan parameter pinjaman USDC pada Aave v3 Ethereum Core minggu ini setelah eksploitasi $292 juta KelpDAO rsETH yang memicu krisis likuiditas di seluruh protokol. Permintaan Komentar Liao menyarankan meningkatkan "S

GateNews2jam yang lalu
Komentar
0/400
Tidak ada komentar