Artificial Intelligence tidak hanya milik layanan cloud — sekarang kita bisa menjalankan model bahasa besar secara lokal di PC. Dalam panduan ini saya dokumentasikan pengalaman saya menginstal Ollama di Windows, membuat proxy Node.js, dan membuat chatbox HTML sederhana agar model AI lokal bisa dipakai lewat browser. Artikel ini cocok untuk guru, pelaku UMKM, dan pengembang yang ingin bereksperimen secara mandiri.

1. Pendahuluan

Ollama memungkinkan menjalankan model LLM secara lokal tanpa mengirim data ke cloud. Keunggulannya: privasi lebih terjaga, kustomisasi prompt/persona, dan potensi integrasi offline untuk aplikasi nagari seperti MitraNagari.

2. Instalasi Ollama di Windows

Langkah singkat:

1. Download installer Ollama dari situs resmi (https://ollama.com/download/windows) dan instal seperti aplikasi biasa.
2. Buka PowerShell, lalu periksa model yang tersedia:

   ollama list

   Contoh output memperlihatkan model gemma3:4b jika sudah terpasang.

3. Uji Coba Model dengan REST API

Ollama biasanya berjalan pada port default 11434. Untuk menguji prompt langsung di PowerShell:

Invoke-RestMethod -Uri "http://localhost:11434/api/generate" `
  -Method POST `
  -Body '{ "model":"gemma3", "prompt":"Halo" }' `
  -ContentType "application/json"

Jika sistem merespons, berarti model sudah dapat dipanggil.

4. Membuat Proxy dengan Node.js (Express)

Kenapa pakai proxy? Supaya frontend (browser / aplikasi mobile) bisa memanggil Ollama tanpa masalah CORS dan agar kita bisa mengolah streaming output model menjadi satu jawaban utuh.

Setup project

npm init -y
npm install express node-fetch cors

Isi file server.js (ringkas)

// server.js (ringkas)
import express from "express";
import fetch from "node-fetch";
import cors from "cors";

const app = express();
app.use(cors());
app.use(express.json());

app.post("/api/chat", async (req, res) => {
  // terima prompt dari client, terus panggil Ollama
  // baca stream response NDJSON, gabungkan field "response" menjadi satu teks utuh
});

app.listen(3000, "127.0.0.1");

5. Membuat Chatbox HTML Sederhana

Setelah proxy berjalan, buat file chat.html yang mem-POST prompt ke http://127.0.0.1:3000/api/chat. Fitur yang saya buat:

• Enter untuk kirim (Shift+Enter untuk baris baru)
• Indikator “MitraNagari sedang mengetik...” saat menunggu jawaban
• Simpan riwayat ke localStorage dan fitur ekspor/impor

6. Sentuhan Budaya: Musik Dendang Pituah Minang

Saya menyertakan musik Dendang Pituah Minang – Siriah Nan Dihidang pada video demo sebagai pengingat bahwa inovasi harus berpijak pada budaya nagari. Teknologi menjadi alat untuk memperkuat, bukan menggantikan, identitas budaya.

7. Roadmap & Tahap Lanjutan

Setelah berhasil menjalankan Ollama, rencana pengembangan ke depan:

1. Optimasi Performa
   • Cek hardware support (GPU NVIDIA/AMD/Intel) dan aktifkan akselerasi jika tersedia.
   • Pakai model quantized (4-bit/8-bit) untuk menghemat RAM.
   • Sesuaikan parameter Ollama (num_ctx, temperature, dsb.).
2. Tambah Model AI

   ollama pull llama3
   ollama pull mistral
   ollama pull gemma2

   Memiliki koleksi model memungkinkan memilih antara model ringan untuk chat cepat dan model berat untuk analisis lebih dalam. Pertimbangkan juga prompt engineering atau fine-tuning agar model paham Bahasa Minang / persona "MitraNagari".

3. Integrasi Aplikasi
   • Upgrade chatbox menjadi web app mini.
   • Integrasi ke Go Mitra / MitraGuru (asisten digital).
   • Integrasi ke WhatsApp AI / Notify untuk layanan nagari.
   • Gunakan sebagai asisten pembelajaran untuk guru & siswa.
4. Fitur Tambahan
   • Simpan riwayat ke database (SQLite / MongoDB).
   • Autentikasi multi-user.
   • Voice input/output (STT/TTS).
   • Integrasi konten multimedia (musik Suno, ilustrasi DALL·E / Stable Diffusion).
5. Paket & Branding
   • Branding "MitraNagari AI" sebagai asisten digital khas nagari.
   • Siapkan demo untuk guru, pelaku UMKM, dan pemerintah nagari.
   • Materi promosi: video, presentasi, infografis.
6. Rencana Jangka Panjang
   • Deploy ke server (VPS / mini PC) agar bisa diakses oleh beberapa device.
   • Buat API publik terbatas untuk sekolah, kantor, UMKM.
   • Kolaborasi komunitas untuk kumpulkan dataset lokal (bahasa Minang, adat, UMKM) agar model lebih relevan.

8. Tips Praktis & Troubleshooting

• 405 / Method Not Allowed: Pastikan memanggil endpoint dengan POST dan header Content-Type: application/json.
• PowerShell & curl: Gunakan curl.exe pada Windows PowerShell untuk sintaks Linux-style atau gunakan Invoke-RestMethod di PowerShell.
• Streaming NDJSON: Ollama mengirim respons secara streaming; di proxy kumpulkan fragmen response lalu gabungkan jadi satu string agar frontend menerima output utuh.
• Execution Policy: Jika menemui error terkait npm.ps1, jalankan Set-ExecutionPolicy -Scope CurrentUser RemoteSigned atau gunakan Command Prompt / npm.cmd.

10. Penutup

Melakukan eksperimen AI lokal dengan Ollama memberi pengalaman berharga: privasi terjaga, kendali penuh, dan ruang kreatif untuk menghadirkan solusi berakar pada budaya. Saya berharap panduan ini berguna untuk Masri, guru, pengusaha, dan siapa saja yang ingin memulai perjalanan AI lokal di nagari masing-masing.