ivo@setyadi:~$ ivo.blogspot.com

# catatan teknis, sejak 2001

TrnRT menjalankan GLM-5.3-Flash di Trainium2

By
TrnRT adalah inference engine open-source yang menyajikan GLM-5.3-Flash pada satu instance AWS Trainium2. Alat ini memakai NKI megakernels untuk menangani operasi decode dan mendukung context window hingga satu juta token. Setup-nya memerlukan host x86_64 terpisah untuk mengompilasi graphs sebelum dimuat ke accelerator. Hanya berguna jika sudah punya akses hardware Trainium2 dan menjalankan GLM-5.3-Flash. Langkah kompilasi memakan waktu berjam-jam dan tidak dilakukan di server serving, sehingga menambah overhead operasional. TrnRT belum menjadi LLM server umum untuk GPU arus utama atau keluarga model lain. sumber: github.com/RunanywhereAI/trnrt my other side: setyadi.com
Image

Realita Produktivitas, Wacana Vietnam, dan #kaburajadulu

2025-02-15 · #Indonesia

Kemarin sempat ngobrol sama CTO sebuah perusahaan. Tadinya mereka memindahkan dev center dari Singapura ke Indonesia dengan harapan bisa cost cutting. Tapi kenyataannya malah mentok di produktivitas yang rendah. Alhasil, ke depannya mereka malah mewacanakan untuk subcon ke Vietnam saja, yang dinilai jauh lebih murah sekaligus lebih produktif.

Hal ini bikin aku mikir, lalu bagaimana kabar teman-teman yang memilih jalur #kaburajadulu? Yakin bakal bisa bersaing dengan sesama expat dari negara-negara yang etos kerjanya memang jauh di atas kita? Jangan sampai niatnya merantau malah berujung keleleran di negeri orang karena kalah rajin dan kalah produktif dibanding pekerja dari Vietnam atau China.

Catatan ini semula saya tulis di Facebook, 15 Februari 2025.

$ cd ~/

$ cat comments/ (0)

← lebih baru lebih lama →