Bayangkan sebuah skenario buruk bagi perusahaan berbasis teknologi: model kecerdasan buatan (AI) yang menjadi tulang punggung operasional Anda tiba-tiba ditarik dari peredaran atau mengalami gangguan total karena perintah pemerintah. Bagi sebagian besar pemimpin IT, ini adalah mimpi buruk yang memicu kepanikan massal dan penghentian layanan secara paksa. Namun, di markas besar raksasa e-commerce Shopify, ketika model Claude Fable 5 berhenti beroperasi secara mendadak baru-baru ini, suasana di ruang teknik tetap tenang tanpa ada gangguan sedikit pun pada alur kerja mereka. Keberhasilan ini bukanlah sebuah kebetulan, melainkan hasil dari perencanaan matang selama bertahun-tahun dalam membangun tumpukan teknologi (tech stack) AI yang sangat tangguh dan agnostik terhadap vendor.
Sebagai jurnalis investigasi yang telah mengamati dinamika Silicon Valley selama dua dekade, saya melihat apa yang dilakukan Shopify adalah sebuah anomali yang cerdas di tengah tren ketergantungan akut pada penyedia AI tunggal. Shopify menggunakan sistem yang disebut sebagai LLM Proxy, sebuah lapisan abstraksi cerdas yang memisahkan antara insinyur mereka dengan penyedia model AI secara langsung. Dengan sistem ini, para pengembang tidak perlu terikat pada satu API spesifik dari penyedia seperti OpenAI atau Anthropic. Sebaliknya, mereka terhubung ke proxy internal milik Shopify yang memiliki kemampuan untuk melakukan automatic failover atau pengalihan otomatis saat terjadi kendala teknis atau perubahan kebijakan pada penyedia model tertentu.
Strategi LLM Proxy: Benteng Pertahanan Shopify Terhadap Ketidakpastian Vendor
Inti dari ketangguhan Shopify terletak pada keputusan mereka untuk tidak pernah memberikan akses langsung ke endpoint model eksternal kepada para insinyur. Farhan Thawar, Head of Engineering di Shopify, menjelaskan dalam podcast Beyond the Pilot bahwa proxy ini memungkinkan perusahaan untuk membagikan beban kerja atau ‘menyemprotkan’ permintaan ke berbagai penyedia model secara fleksibel. Ketika sebuah model diperbarui dan perilakunya berubah secara tidak terduga, atau bahkan jika model tersebut menghilang dari pasar seperti kasus Claude Fable 5, sistem proxy Shopify akan secara otomatis mengalihkan lalu lintas data ke model alternatif seperti Claude Opus atau GPT 5.5 tanpa memutus koneksi pengguna.
Manajemen Token dan Efisiensi Biaya Skala Besar
Selain aspek teknis failover, proxy ini juga berfungsi sebagai pusat kendali ekonomi bagi penggunaan AI di seluruh perusahaan. Shopify membeli token dalam jumlah besar (bulk) dari berbagai penyedia, yang kemudian didistribusikan melalui proxy tersebut. Hal ini memberikan tim kepemimpinan visibilitas penuh terhadap pelaporan penggunaan dan biaya secara real-time. Dengan kata lain, Shopify memiliki ‘dashboard’ yang sangat detail untuk memantau siapa yang menggunakan token paling mahal, model mana yang paling sering digunakan, dan disiplin ilmu apa yang paling banyak menghabiskan waktu pada proses penalaran (reasoning) AI.
Strategi ini sangat kontras dengan banyak perusahaan rujukan yang sering kali terjebak dalam kontrak eksklusif yang kaku. Dengan memiliki sistem yang memungkinkan pergerakan bebas antar model, Shopify memastikan mereka tidak pernah ‘super terikat’ pada satu penyedia saja. Thawar menekankan bahwa setiap perusahaan besar harus mulai mempertimbangkan bagaimana gangguan pada satu model dapat melumpuhkan bisnis mereka dan segera menyiapkan rencana cadangan yang solid agar tidak menjadi sandera teknologi vendor tertentu.
Kekuatan Distilasi: Mengubah Model Raksasa Menjadi Spesialis yang Cepat dan Murah
Salah satu aspek paling mendalam dari strategi Shopify adalah penggunaan teknik distilasi. Dalam dunia AI, distilasi adalah proses di mana sebuah model ‘pelajar’ (student model) yang lebih kecil belajar dari model ‘pengajar’ (teacher model) yang lebih besar dan canggih. Hasilnya adalah Small Language Model (SLM) yang sangat terspesialisasi untuk tugas-tugas tertentu. Shopify menerapkan ini pada asisten AI unggulan mereka, Sidekick, yang membantu para merchant menyelesaikan ribuan sub-tugas spesifik untuk menghilangkan beban kerja repetitif dalam operasional sehari-hari mereka.
Keuntungan dari penggunaan model hasil distilasi ini tidak hanya terletak pada efisiensi ruang, tetapi juga pada performa nyata. Menurut data internal Shopify, model-model kecil ini terbukti 2 kali hingga bahkan 30 kali lebih cepat dan lebih murah dibandingkan dengan menggunakan model umum yang tersedia di pasaran. Thawar menegaskan bahwa ini bukan sekadar soal menekan biaya atau mengurangi latensi, melainkan soal akurasi. Model yang dilatih khusus untuk satu tugas sering kali memberikan hasil yang lebih tepat daripada model raksasa yang mencoba melakukan segalanya sekaligus.
UDP dan Tangle: Demokratisasi Eksperimen AI Tanpa Birokrasi
Untuk mendukung proses ini, Shopify membangun infrastruktur internal yang disebut Unified Distillation Pipeline (UDP). Di sini, para insinyur cukup memasukkan model pengajar, data pelatihan, evaluasi, dan target model yang diinginkan—misalnya melakukan distilasi dari Opus 4.8 ke Qwen 3.5. Proses ini biasanya berjalan selama satu hari dan secara otomatis menghasilkan laporan evaluasi tentang kecepatan, biaya, dan akurasi model baru tersebut. Jika hasilnya memuaskan, insinyur dapat langsung menerapkan model tersebut tanpa perlu melewati proses persetujuan birokrasi yang rumit.
Transparansi dalam proses ini dijaga melalui platform internal bernama Tangle. Tangle memungkinkan siapa pun di dalam organisasi untuk memvisualisasikan alur kerja pipa distilasi saat sedang berjalan. Ke depannya, Thawar memimpikan sistem distilasi otonom di mana insinyur tidak perlu lagi menentukan target model. AI sendiri yang akan menganalisis data dan menentukan apakah tugas tersebut bisa dijalankan oleh model yang sangat kecil hingga bisa berjalan di ponsel, atau tetap harus menggunakan model frontier yang paling canggih karena tingkat kesulitannya.
Dari ‘AI Reflexivity’ Menuju ‘AI Leverage’: Mengelola Risiko dengan Dashboard Canggih
Shopify juga sangat memperhatikan perilaku para insinyurnya dalam berinteraksi dengan AI. Mereka memberikan kebebasan bagi tim untuk menggunakan alat bantu apa pun yang mereka sukai, mulai dari Claude Code, Codex, Cursor, hingga GitHub Copilot. Namun, kebebasan ini diimbangi dengan pengawasan yang ketat melalui dashboard penggunaan. Tujuannya adalah untuk bergeser dari sekadar ‘AI reflexivity’—di mana orang menggunakan AI hanya karena tren—menjadi ‘AI leverage’, di mana AI benar-benar digunakan untuk memberikan dampak maksimal pada produktivitas.
“Tujuan utama kami adalah memastikan setiap orang berpikir mendalam tentang di mana mereka bisa mendapatkan manfaat terbesar dari AI dalam alur kerja mereka, bukan sekadar menggunakannya sebagai refleks tanpa arah,” ujar Farhan Thawar.
Untuk mencegah pemborosan sumber daya atau apa yang disebut sebagai ‘tokenmaxxing’, Shopify telah mengimplementasikan sistem circuit breakers atau pemutus arus otomatis. Jika ada sebuah model yang berjalan terus-menerus selama berjam-jam (misalnya 10 jam) dan mengonsumsi token dalam jumlah yang tidak wajar, sistem akan secara otomatis mengirimkan notifikasi kepada pengguna untuk mengonfirmasi apakah penggunaan tersebut disengaja. Hal ini membantu mendeteksi proses latar belakang yang terlupakan dan mencegah tagihan yang membengkak secara tiba-tiba.
Masa Depan Agen AI: River dan OpenClaw dalam Ekosistem Shopify
Di balik layar, Shopify juga mengembangkan agen AI internal bernama River. River berfungsi menciptakan ‘substrat informasi’ di seluruh perusahaan, yang memungkinkan data mengalir dan dapat diakses dengan lebih cerdas oleh berbagai departemen. Selain itu, ada pula proyek OpenClaw, sebuah agen yang mampu memahami konteks yang sangat personal. Thawar menceritakan pengalaman menarik di mana agen OpenClaw miliknya mampu mengetahui bahwa ia sedang melakukan perjalanan hanya dengan menganalisis kalendernya, sebuah momen yang menunjukkan ke mana arah perkembangan agen AI di masa depan.
Filosofi Shopify yang selalu memprioritaskan pembangunan infrastruktur sebelum fitur (infra before features) terbukti menjadi kunci sukses mereka. Dengan membangun fondasi yang kuat terlebih dahulu, mereka memiliki fleksibilitas untuk mengadopsi teknologi terbaru dengan sangat cepat tanpa risiko terjebak dalam ekosistem vendor tertentu. Bagi para pemimpin bisnis di era digital ini, pendekatan Shopify memberikan pelajaran berharga bahwa dalam perlombaan AI, pemenangnya bukan hanya mereka yang memiliki model tercanggih, melainkan mereka yang memiliki kendali penuh atas bagaimana model-model tersebut digunakan dan dikelola secara mandiri.
Ke depannya, kita bisa mengharapkan Shopify akan terus mendorong batas-batas Small Language Models. Dengan potensi model yang cukup kecil untuk berjalan secara lokal di perangkat seluler, ketergantungan pada cloud dan koneksi internet yang stabil mungkin akan berkurang untuk tugas-tugas tertentu. Ini adalah langkah besar menuju kedaulatan teknologi di mana perusahaan benar-benar memiliki ‘otak’ digital mereka sendiri, bukan sekadar menyewa dari pihak ketiga yang bisa berubah sewaktu-waktu.
