Kas ir Ollama un kā to lietot operētājsistēmā Windows

Ja vēlaties datorā palaist lielu valodu modeļus vai LLM, viens no vienkāršākajiem veidiem, kā to izdarīt, ir Ollama. Ollama ir jaudīga atvērtā pirmkoda platforma, kas piedāvā pielāgojamu un viegli pieejamu AI pieredzi. Tas atvieglo lejupielādi, instalēšanu un mijiedarbību ar dažādiem LLM, nepaļaujoties uz mākoņa platformām vai neprasot nekādas tehniskas zināšanas.

Papildus iepriekšminētajām priekšrocībām, Ollama ir diezgan viegls un tiek regulāri atjaunināts, kas padara to diezgan piemērotu LLM veidošanai un pārvaldībai vietējās iekārtās. Tādējādi jums nav nepieciešami ārēji serveri vai sarežģītas konfigurācijas. Ollama atbalsta arī vairākas operētājsistēmas, tostarp Windows, Linux un macOS, kā arī dažādas Docker vides.

Ollama lejupielāde un instalēšana

Vispirms apmeklējiet Ollama lejupielādes lapu un atlasiet savu OS, pirms noklikšķiniet uz pogas Lejupielādēt.

Kad lejupielāde ir pabeigta, atveriet to un instalējiet to savā datorā. Pēc instalēšanas pabeigšanas instalētājs tiks automātiski aizvērts.

Operētājsistēmā Windows varat pārbaudīt, vai Ollama darbojas vai ne, noklikšķinot uz uzdevumjoslas pārpildes pogas, lai skatītu slēptās ikonas.

Ollama pielāgošana un izmantošana

Kad Ollama ir instalēta jūsu datorā, pirmā lieta, kas jums jādara, ir mainīt datu glabāšanas vietu. Pēc noklusējuma uzglabāšanas vieta ir, C:\Users\%username%\.ollama\modelstaču, tā kā AI modeļi var būt diezgan lieli, jūsu C disks var ātri tikt piepildīts. Lai to izdarītu,

Vispirms uzdevumjoslā noklikšķiniet uz Ollama ikonas un noklikšķiniet uz “Iziet no Ollamas”.

Kad Ollama ir izgājis, atveriet izvēlni Sākt, ierakstiet environment variablesun noklikšķiniet uz “Rediģēt sistēmas vides mainīgos”.

Kad tiek atvērts dialoglodziņš Sistēmas mainīgie, cilnē Papildu noklikšķiniet uz pogas Vides mainīgie.

OLLAMA_MODELSNoklikšķiniet uz sava lietotāja konta pogas “Jauns” un laukā “Mainīgā nosaukums” izveidojiet mainīgo .

Pēc tam laukā Mainīgā vērtība ierakstiet tā direktorija atrašanās vietu, kurā vēlaties, lai Ollama saglabātu savus modeļus. Pēc tam noklikšķiniet uz pogas Labi pirms Ollama palaišanas no izvēlnes Sākt.

Tagad esat gatavs sākt lietot Ollama, un to varat izdarīt, izmantojot Meta’s Llama 3 8B, jaunāko uzņēmuma atvērtā pirmkoda AI modeli. Lai palaistu modeli, izvēlnē Sākt palaidiet komandu uzvedni, Powershell vai Windows termināļa logu.
Kad tiek atvērts komandu uzvednes logs, ierakstiet ollama run llama3un nospiediet taustiņu Enter. Modelis ir tuvu 5 GB, tāpēc tā lejupielāde prasīs laiku.

Kad lejupielāde ir pabeigta, varat sākt lietot Llama 3 8B un sarunāties ar to tieši komandrindas logā. Piemēram, varat jautāt modelim Who are you?un nospiest taustiņu Enter, lai saņemtu atbildi.

Tagad varat turpināt sarunu un uzdot AI modeļiem jautājumus par dažādām tēmām. Vienkārši paturiet prātā, ka Llama 3 var kļūdīties un izraisīt halucinācijas, tāpēc, lietojot to, jums jābūt uzmanīgiem.
Varat arī izmēģināt citus modeļus, apmeklējot Ollama modeļu bibliotēkas lapu. Turklāt ir dažādas komandas, kuras varat palaist, lai izmēģinātu dažādas Ollama piedāvātās funkcijas.
Modeļa darbības laikā varat veikt arī dažādas darbības, piemēram, iestatīt sesijas mainīgos, rādīt modeļa informāciju, saglabāt sesiju un veikt citas darbības.
Ollama arī ļauj izmantot multimodālo AI modeļu priekšrocības, lai atpazītu attēlus. Piemēram, LLava modelis var atpazīt DALLE-3 ģenerētos attēlus. Tas var detalizēti aprakstīt attēlus.
Ja, palaižot Ollama, rodas kļūdas, varat pārbaudīt žurnālus, lai noskaidrotu, kāda ir problēma. Izmantojiet Win + Rsaīsni, lai atvērtu dialoglodziņu Palaist, un pēc tam ierakstiet explorer %LOCALAPPDATA%\\Ollama # View logstajā, pirms nospiežat Enter.

Varat arī izmantot citas komandas, piemēram, explorer %LOCALAPPDATA%\\Programs\\Ollamaun, explorer %HOMEPATH%\\.ollamalai pārbaudītu bināros failus, modeli un konfigurācijas uzglabāšanas vietu.

Lietas, kas jāzina

Ollama automātiski nosaka jūsu GPU, lai palaistu AI modeļus, taču iekārtās ar vairākiem GPU tas var izvēlēties nepareizo. Lai no tā izvairītos, atveriet Nvidia vadības paneli un iestatiet displeju uz “Tikai Nvidia GPU”.
Displeja režīms var nebūt pieejams visās ierīcēs, kā arī tas nav pieejams, kad datoru pievienojat ārējiem displejiem.
Operētājsistēmā Windows varat pārbaudīt, vai Ollama izmanto pareizo GPU, izmantojot uzdevumu pārvaldnieku, kas parādīs GPU lietojumu un informēs, kurš no tiem tiek izmantots.
Lai gan Ollama instalēšana operētājsistēmās MacOS un Linux nedaudz atšķiras no Windows, LLM palaišanas process caur to ir diezgan līdzīgs.