DeepSeek เปิดซอร์ส TileKernels ไขลบรารีเคอร์เนล GPU สำหรับการฝึกและการอนุมานของโมเดลขนาดใหญ่

ข้อความข่าวจาก Gate วันที่ 23 เมษายน — DeepSeek ได้เปิดซอร์ส TileKernels ภายใต้สัญญาอนุญาต MIT ซึ่งเป็นไลบรารีเคอร์เนลสำหรับ GPU ที่เขียนด้วย TileLang สำหรับการฝึกและการอนุมานของโมเดลภาษาขนาดใหญ่ TileLang เป็นภาษาเฉพาะทางที่ทีม tile-ai พัฒนาขึ้น เพื่อใช้ในการแสดงเคอร์เนล GPU ประสิทธิภาพสูงใน Python DeepSeek ระบุว่าเคอร์เนลส่วนใหญ่ในไลบรารีได้เข้าใกล้ขีดจำกัดด้านประสิทธิภาพของฮาร์ดแวร์แล้ว ทั้งในความหนาแน่นในการคำนวณและแบนด์วิดท์หน่วยความจำ โดยบางส่วนได้ถูกนำไปใช้งานแล้วในกระบวนการฝึกและการอนุมานภายใน

ไลบรารีประกอบด้วยเคอร์เนลหกหมวดหมู่: MoE (การผสมผู้เชี่ยวชาญ) สำหรับการแบ่งเกตและการกำหนดเส้นทาง รวมถึงการเลือก Top-k ของผู้เชี่ยวชาญ การแมปโทเคนต่อผู้เชี่ยวชาญ และการขยาย/ลดขนาดแบบรวม (fused) พร้อมการทำ normalization ของค่าน้ำหนัก; การทำควอนไทซ์ที่รองรับรูปแบบ FP8, FP4 และ E5M6 พร้อมการควอนไทซ์แบบต่อโทเคน ต่อบล็อก และต่อช่องทาง (channel) รวมถึงการทำงานแบบรวมสำหรับ SwiGLU+quantization; การ transpose แบบเป็นชุด (batch transpose); Engram gating พร้อมการส่งผ่านต่อไป/ย้อนกลับของ RMSNorm แบบรวมและการลดทอนเกรเดียนต์น้ำหนัก; Manifold HyperConnection พร้อมการทำ normalization แบบ Sinkhorn และการ split/apply แบบผสม; และอินเทอร์เฟซ autograd ระดับสูงที่ห่อเคอร์เนลระดับต่ำให้อยู่ในเลเยอร์ที่ฝึกได้

Engram และ Manifold HyperConnection เป็นองค์ประกอบที่เป็นกรรมสิทธิ์ของสถาปัตยกรรมโมเดลของ DeepSeek โดยรายละเอียดการใช้งานถูกเปิดเผยต่อสาธารณะเป็นครั้งแรก ไลบรารีต้องใช้ GPU สถาปัตยกรรม NVIDIA SM90 หรือ SM100 (H100/H200 หรือกลุ่ม Blackwell), CUDA Toolkit 13.1 หรือสูงกว่า และ PyTorch 2.10 หรือสูงกว่า

news.article.disclaimer

btc.bar.articles

Fluent เปิดตัว Ethereum Layer 2 Mainnet และโทเค็น BLEND พร้อมสภาพคล่อง $50M แบบวันแรก

Gate News ข้อความ วันที่ 24 เมษายน — Fluent เครือข่ายเลเยอร์ 2 บน Ethereum ได้เปิดใช้งาน mainnet และโทเค็น BLEND แบบดั้งเดิมของเครือข่ายในวันศุกร์ พร้อมเปิดตัวด้วยสภาพคล่องที่ผูกมัดไว้ในวันแรก $50 ล้านดอลลาร์สหรัฐ เครือข่ายมีสภาพแวดล้อมแบบ "blended execution" ที่ช่วยให้งานแอปพลิเคชันที่เขียนมาสำหรับเครื่องเสมือนที่แตกต่างกันสามารถทำงานภายในสถานะเครือข่ายเดียวกันได้

GateNews25 นาที ที่แล้ว

COTI จับมือกับ Sayfer เพื่อเสริมความปลอดภัยของโปรโตคอลความเป็นส่วนตัว

ข้อความ Gate News ประจำวันที่ 24 เมษายน — COTI ได้ประกาศความร่วมมือกับ Sayfer ซึ่งเป็นบริษัทรักษาความปลอดภัยบล็อกเชนที่ก่อตั้งในปี 2019 เพื่อเสริมสร้างกรอบความปลอดภัยที่สนับสนุนระบบนิเวศที่เน้นความเป็นส่วนตัวของตน Sayfer จะทำหน้าที่เป็นที่ปรึกษาด้านความปลอดภัยระยะยาวให้กับ COTI สนับสนุนโครงการในขณะที่กำลังเตรียมที่จะ

GateNews2 ชั่วโมง ที่แล้ว

CoW Swap เปิดตัวการอัปเกรดโครงสร้างพื้นฐานของโซลเวอร์เพื่อเสริมสร้างกลไกการประมูล

ข่าว Gate News ประจำวันที่ 24 เมษายน — ตามรายงานของ CoW DAO CoW Swap ได้ปรับใช้การอัปเกรดโครงสร้างพื้นฐานของโซลเวอร์จำนวน 2 รายการ เพื่อยกระดับกลไกการประมูลและเพิ่มประสิทธิภาพกระบวนการดำเนินการ การอัปเกรดครั้งแรก "hidden bids until deadline," จะป้องกันไม่ให้โซลเวอร์เห็นคำเสนอราคาของกันและกันระหว่างการประมูล ซึ่งทำให้ต้องทำการประมูลแบบปิดจนถึงกำหนดเวลา โดย

GateNews3 ชั่วโมง ที่แล้ว

ฐานผู้ถือ SHIB พุ่งเพิ่มขึ้น 10,000 วอลเล็ต สู่ 1.573M ขณะที่ Shibarium ทำธุรกรรมครบ 1B

ข่าวประจำเกต 24 เมษายน — ฐานผู้ถือของ Shiba Inu ขยายตัวอย่างรวดเร็วระหว่างวันที่ 19 ถึง 22 เมษายน 2026 โดยมีวอลเล็ต Ethereum แห่งใหม่มากกว่า 10,000 รายเข้าร่วมเครือข่ายและผลักดันให้ยอดรวมสูงกว่า 1.573 ล้าน Etherscan บันทึกการเคลื่อนไหวนี้ว่าเป็นหนึ่งในการขยายตัวระยะสั้นที่รวดเร็วที่สุดในปีนี้นี้

GateNews4 ชั่วโมง ที่แล้ว

USDD Smart Allocator ทำสถิติสะสมผลตอบแทนจากการลงทุนมากกว่า $16M

ข้อความจาก Gate News วันที่ 24 เมษายน — Smart Allocator ของ USDD สะสมผลตอบแทนจากการลงทุนมากกว่า $16 ล้านดอลลาร์ แสดงให้เห็นถึงความสามารถในการสร้างผลตอบแทนได้อย่างแข็งแกร่งในตัวเอง และตอกย้ำความสามารถในการแข่งขันในระยะยาวในกลุ่มธุรกิจสเตเบิลคอยน์ Smart Allocator คือกลไกการแบ่งปันผลตอบแทนของ USDD ที่สร้างผลตอบแทนโดยการเข้าร่วมโครงการคุณภาพเพื่อรับดอกเบี้ยและรางวัลจากแพลตฟอร์ม จากนั้นจึงกระจายรายได้เหล่านี้กลับไปยังผู้ใช้

GateNews5 ชั่วโมง ที่แล้ว
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น