Oʻz uskunamizdagi sunʼiy intellekt
Tibbiy maʼlumotlarni bulutga yuborib boʻlmaydi, yangi serverlarga esa pul yoʻq. Til modellari boshqalar allaqachon hisobdan chiqargan videokartalarda ishga tushdi.
- C# / .NET 10
- ASP.NET Core
- llama.cpp
- CUDA 12
- Python
- OpenRouter
Nutq tahlili va tibbiy hujjatlar uchun til modellari kerak. Bulut har doim ham mos kelmaydi: tibbiy maʼlumotlar klinika ichida qolishi kerak. Klinika yangi serverlar sotib olishga tayyor emas edi. Lekin har biri 11 GB boʻlgan uchta GTX 1080 Ti videokartali eski kompyuter bor edi.
Oʻzimning llama.cpp yigʻmam
GTX 1080 Ti — Pascal arxitekturasi, yangi CUDA 13 esa uni endi qoʻllab-quvvatlamaydi. Men llama.cppʼni aynan shu kartalar uchun CUDA 12 ostida yigʻdim. 26 milliard parametrli Gemma 4 modeli (21 GB) qatlamlar boʻyicha uchta videokartaga taqsimlangan.
LLA Control shlyuzi
Mahalliy tarmoqdagi dasturlar uchun OpenAI API bilan mos keladigan yagona kirish nuqtasi. Shlyuz modelni ishga tushiradi, holatini kuzatadi, soʻrovlarni navbatga qoʻyadi va ularni model nomi boʻyicha yoʻnaltiradi: mahalliy modelga, tarmoqdagi boshqa mashinaga yoki OpenRouter orqali bulutli modelga.
Nomlar oʻrniga sinflar
Dasturlar aniq modelni emas, sinfni soʻraydi: high, medium yoki low. Shlyuz soʻrovni shu sinfning ishlab turgan va eng kam yuklangan modeliga beradi. Modellarni birorta dasturga tegmasdan almashtirish mumkin.
Klaster
Modelli yana bir mashina shlyuzga alohida protokolsiz ishchi tugun sifatida ulanadi. Shlyuz tugun ishlayotganini tekshiradi va uzatish halqalaridan himoyalangan.
Halol statistika
Odatiy «sekundiga tokenlar» ikki xil jarayonni aralashtirib yuboradi va generatsiya tezligini kamaytirib koʻrsatadi. Shlyuz ularni alohida oʻlchaydi — soʻrovni oʻqish va javobni generatsiya qilish, — shunda tor joy darhol koʻrinadi. Modellarni jonli ham solishtirish mumkin: test chati bitta savolni ikki modelga yonma-yon beradi.
Paketli ishlar uchun balanser
Minglab qoʻngʻiroqlarni bir nechta serverga alohida Python balanseri parallel taqsimlaydi.
Murakkab jihatlar
Xotira kam
Mashinada 16 GB operativ xotira bor, modellar esa 20 GB dan ortiq. Hammasi videoxotirada yashashi kerak, ishga tushirish parametrlari aynan shunga moslab tanlangan.
Nosozlik sezilmasligi kerak
Model qotib qolsa yoki ishdan chiqsa, shlyuz uni oʻzi qayta ishga tushiradi — lekin cheksiz emas: qayta ishga tushirishlarning cheksiz aylanishidan himoya bor.
- C# / .NET 10, ASP.NET Coreshlyuz va uning boshqaruv paneli.
- CUDA 12ʼdagi llama.cppmahalliy Gemma 4 va Qwen modellari.
- Pythonpaketli vazifalar balanseri.
- OpenRoutermaʼlumotlar ruxsat bergan hollarda bulutli modellar.
Barqarorlik testi: Qwen modeli 30 kun davomida kecha-kunduz birorta nosozliksiz va xotiradan tushirilmasdan ishladi. Tibbiy hujjatlar ustidagi ish tugagach, testni qoʻlda toʻxtatdim.
Nutq tahlili va klinikaning boshqa AI vazifalari mavjud uskunada ishlaydi — yangi serverlar sotib olmasdan.