แกลเลอรี LLM บนอุปกรณ์สำหรับการทดลองส่วนตัวบน Android
Llama.cpp Edge Gallery AI จาก De-devs นำการโต้ตอบด้วยโมเดลภาษาใหญ่บนอุปกรณ์ไปยังอุปกรณ์ Android สำหรับการอนุมานและการทดลองแบบส่วนตัว ออฟไลน์ แอปนี้ทำงาน LLMs ในเครื่องผ่านเอนจิน llama.cpp และจัดการไฟล์โมเดลในรูปแบบ GGUF ขณะหลีกเลี่ยงบริการคลาวด์ องค์ประกอบหลักประกอบด้วยการนำเข้าและการจัดทำรายการโมเดล การอนุมานในเครื่อง และตัวชี้วัดทรัพยากรต่ออุปกรณ์ เป้าหมายคือผู้ที่ชื่นชอบ AI นักพัฒนาโมบาย และมืออาชีพที่มุ่งเน้นความเป็นส่วนตัวซึ่งต้องการการเข้าถึงโมเดลแบบแยกอากาศสำหรับการทดสอบหรือการสร้างต้นแบบ
การทำงานเชิงสนทนาสนับสนุนการทดสอบโมเดลแบบลงมือทำบนอุปกรณ์เดียว
แอปมุ่งเน้นไปที่การสนทนาที่มีพื้นฐานจากเซสชันซึ่งคุณนำเข้าโมเดล เปิดการสนทนา และทำซ้ำแบบโต้ตอบ อินเทอร์เฟซการสนทนาอัจฉริยะเปิดเผยคำแนะนำเริ่มต้นอย่างรวดเร็ว ส่วน "คิด" ที่พับได้ และข้อความที่เน้นตัวหนาเพื่อทำเครื่องหมายส่วนสำคัญของการตอบสนอง เครื่องมือการจัดระเบียบช่วยให้คุณทำเครื่องหมายรายการโปรดและสลับโมเดลที่บันทึกไว้โดยไม่ต้องสร้างคำแนะนำใหม่ การออกแบบนี้เหมาะสำหรับการทดสอบเชิงสำรวจ การปรับแต่งคำแนะนำ และการทำต้นแบบในท้องถิ่นมากกว่าการใช้งานในขนาดใหญ่
อินเทอร์เฟซและการตั้งค่าเน้นการควบคุมมากกว่าความสะดวกสบายสำหรับมืออาชีพ
การควบคุมเปิดเผยปุ่มระดับอุปกรณ์แทนที่จะซ่อนอยู่หลังวิซาร์ด ผู้ใช้สามารถตั้งค่าจำนวนเธรด CPU เพื่อแลกกับความเร็วในการอนุมานสำหรับแบตเตอรี่และขีดจำกัดความร้อน และตัวชี้นำ RAM ที่รวมช่วยในการประเมินความเหมาะสมก่อนโหลดโมเดล หน้าจอการวัดประสิทธิภาพในตัวรายงานจำนวนโทเคนต่อวินาทีเพื่อการเปรียบเทียบโดยตรงระหว่างการตั้งค่า ทั้งหมดนี้ขอให้ผู้ใช้ตัดสินใจเกี่ยวกับทรัพยากรแทนที่จะสมมติการกำหนดค่าที่เหมาะสม
ประสิทธิภาพขยายตามขนาดโมเดลและความสามารถของอุปกรณ์
การส่งข้อมูลบนอุปกรณ์ขึ้นอยู่กับโปรเซสเซอร์ หน่วยความจำที่มีอยู่ และตัวเลือกการควบคุม; การวัดประสิทธิภาพของแอปช่วยในการปริมาณความสัมพันธ์นั้น สำหรับการสร้างโทเคนที่รวดเร็วให้เลือกจำนวนพารามิเตอร์ที่น้อยลงหรือระดับการควบคุมที่สูงขึ้น ขณะที่โมเดลที่ใหญ่กว่าต้องการฮาร์ดแวร์ที่มีประสิทธิภาพสูงกว่า แอปเปิดเผยการแลกเปลี่ยนเหล่านี้และช่วยให้คุณวัด tok/s ซึ่งช่วยในการตัดสินใจว่าจะทดสอบโมเดลที่กะทัดรัดสำหรับการทำซ้ำอย่างรวดเร็วหรือโมเดลที่ใหญ่กว่าหากความถูกต้องมีความสำคัญ
แอปเหมาะสำหรับผู้ทดสอบที่มีทักษะทางเทคนิคซึ่งให้ความสำคัญกับความเป็นส่วนตัวและการควบคุมในท้องถิ่น
แอปเป็นตัวเลือกที่ใช้งานได้จริงสำหรับผู้ที่ชื่นชอบ AI และนักพัฒนาแอปมือถือที่ต้องการการเข้าถึงโมเดลที่เป็นส่วนตัวและอาศัยอยู่ในอุปกรณ์ และรู้สึกสบายใจในการจัดการไฟล์โมเดลและการปรับแต่งอุปกรณ์ ไม่ได้มุ่งเป้าไปที่ผู้ใช้ที่ต้องการผู้ช่วยสนทนาที่ใช้งานง่ายและมีการสนับสนุนจากคลาวด์; คาดหวังการกำหนดค่าที่ต้องทำด้วยตนเองและการเลือกโมเดลเพื่อให้ได้ประสิทธิภาพที่เชื่อถือได้บนอุปกรณ์ที่กำหนด.
