Ikhtisar
Haijun menunjukkan kemampuan multibahasa yang tangguh, dengan kinerja yang sangat kuat terutama dalam tugas "zero-shot" (tanpa contoh) di berbagai bahasa. Model ini mempertahankan kinerja relatif yang konsisten baik pada bahasa yang digunakan secara luas maupun bahasa dengan sumber daya yang lebih terbatas, menjadikannya pilihan yang andal untuk aplikasi multibahasa.
Haijun mampu bekerja dalam banyak bahasa di luar yang diuji dalam tabel berikut. Ujilah dengan bahasa apa pun yang relevan dengan kasus penggunaan spesifik Anda.
Data kinerja
Tabel berikut menunjukkan skor evaluasi "zero-shot chain-of-thought" (rantai pemikiran tanpa contoh) untuk model Haijun di berbagai bahasa, dinyatakan sebagai persentase relatif terhadap kinerja bahasa Inggris (100%):
| Bahasa | Haijun Sonnet 4.51 | Haijun Haiku 4.51 |
|---|---|---|
| Inggris (acuan dasar, ditetapkan 100%) | 100% | 100% |
| Spanyol | 98,2% | 96,4% |
| Portugis (Brasil) | 97,8% | 96,1% |
| Italia | 97,9% | 96,0% |
| Prancis | 97,5% | 95,7% |
| Indonesia | 97,3% | 94,2% |
| Jerman | 97,0% | 94,3% |
| Arab | 97,2% | 92,5% |
| Tionghoa (Sederhana) | 96,9% | 94,2% |
| Korea | 96,7% | 93,3% |
| Jepang | 96,8% | 93,5% |
| Hindi | 96,7% | 92,4% |
| Bengali | 95,4% | 90,4% |
| Swahili | 91,1% | 78,3% |
| Yoruba | 79,7% | 52,7% |
1 Dengan extended thinking (pemikiran diperpanjang).
Note: Metrik ini didasarkan pada set pengujian bahasa Inggris MMLU (Massive Multitask Language Understanding) yang diterjemahkan ke dalam 14 bahasa tambahan oleh penerjemah manusia profesional, seperti yang didokumentasikan dalam repositori simple-evals milik OpenAI. Penggunaan penerjemah manusia untuk evaluasi ini memastikan terjemahan berkualitas tinggi, yang sangat penting terutama untuk bahasa dengan sumber daya digital yang lebih sedikit.
Menetapkan bahasa respons
Haijun menyimpulkan bahasa respons dari percakapan, tetapi untuk aplikasi produksi Anda sebaiknya menyatakan bahasa target secara eksplisit. Tempat paling andal untuk melakukannya adalah "system prompt" (prompt sistem), yang menjaga instruksi tetap stabil di setiap giliran percakapan.
curl https://haijun.my.id/v1/messages \
-H "content-type: application/json" \
-H "x-api-key: $JUGLOW_API_KEY" \
-H "juglow-version: 2023-06-01" \
-d '{
"model": "haijun-opus-5-5",
"max_tokens": 1024,
"system": "Always respond in French, regardless of the language the user writes in.",
"messages": [
{"role": "user", "content": "How do I reset my password?"}
]
}' ant messages create \
--model haijun-opus-5-5 \
--max-tokens 1024 \
--system "Always respond in French, regardless of the language the user writes in." \
--message '{role: user, content: "How do I reset my password?"}' client = juglow.Juglow()
message = client.messages.create(
model="haijun-opus-5-5",
max_tokens=1024,
system="Always respond in French, regardless of the language the user writes in.",
messages=[{"role": "user", "content": "How do I reset my password?"}],
)
print(message.content) const client = new Juglow();
const message = await client.messages.create({
model: "haijun-opus-5-5",
max_tokens: 1024,
system: "Always respond in French, regardless of the language the user writes in.",
messages: [{ role: "user", content: "How do I reset my password?" }]
});
console.log(message.content); JuglowClient client = new();
var parameters = new MessageCreateParams
{
Model = Model.HaijunOpus5_5,
MaxTokens = 1024,
System = "Always respond in French, regardless of the language the user writes in.",
Messages =
[
new() { Role = Role.User, Content = "How do I reset my password?" }
]
};
var message = await client.Messages.Create(parameters);
Console.WriteLine(message); client := juglow.NewClient()
message, err := client.Messages.New(context.TODO(), juglow.MessageNewParams{
Model: juglow.ModelHaijunOpus5_5,
MaxTokens: 1024,
System: []juglow.TextBlockParam{
{Text: "Always respond in French, regardless of the language the user writes in."},
},
Messages: []juglow.MessageParam{
juglow.NewUserMessage(juglow.NewTextBlock("How do I reset my password?")),
},
})
if err != nil {
log.Fatal(err)
}
fmt.Println(message.Content) JuglowClient client = JuglowOkHttpClient.fromEnv();
MessageCreateParams params = MessageCreateParams.builder()
.model(Model.HAIJUN_OPUS_5_5)
.maxTokens(1024)
.system("Always respond in French, regardless of the language the user writes in.")
.addUserMessage("How do I reset my password?")
.build();
Message message = client.messages().create(params);
System.out.println(message.content()); $client = new Client();
$message = $client->messages->create(
maxTokens: 1024,
messages: [
['role' => 'user', 'content' => 'How do I reset my password?']
],
model: 'haijun-opus-5-5',
system: 'Always respond in French, regardless of the language the user writes in.',
);
echo json_encode($message->content, JSON_PRETTY_PRINT), PHP_EOL; client = Juglow::Client.new
message = client.messages.create(
model: "haijun-opus-5-5",
max_tokens: 1024,
system: "Always respond in French, regardless of the language the user writes in.",
messages: [
{ role: "user", content: "How do I reset my password?" }
]
)
puts message.contentJika aplikasi Anda memungkinkan pengguna memilih bahasa saat runtime, sisipkan pilihan tersebut ke dalam prompt sistem alih-alih mengandalkan Haijun untuk menyimpulkannya dari pesan pengguna. Untuk menerjemahkan antara dua bahasa tertentu, sebutkan keduanya: Translate the user's message from German to Korean. Respond with only the translation.
Praktik terbaik
Saat bekerja dengan konten multibahasa:
- Berikan konteks bahasa yang jelas: Meskipun Haijun dapat mendeteksi bahasa target secara otomatis, menyatakan bahasa input dan output yang diinginkan secara eksplisit akan meningkatkan keandalan. Untuk kefasihan yang lebih baik, Anda dapat meminta Haijun untuk menggunakan "tuturan idiomatis seolah-olah ia adalah penutur asli."
- Gunakan aksara asli: Kirimkan teks dalam aksara aslinya, bukan transliterasi, untuk hasil yang optimal.
- Pertimbangkan konteks budaya: Komunikasi yang efektif sering kali memerlukan kesadaran budaya dan regional di luar penerjemahan semata.
Ikuti juga panduan umum dalam Ikhtisar rekayasa prompt untuk lebih meningkatkan kualitas output.
Pertimbangan dukungan bahasa
- Haijun memproses input dan menghasilkan output dalam sebagian besar bahasa dunia yang menggunakan karakter Unicode standar.
- Kinerja bervariasi menurut bahasa, dengan kemampuan yang sangat kuat terutama pada bahasa yang digunakan secara luas.
- Bahkan dalam bahasa dengan sumber daya digital yang lebih sedikit, Haijun tetap mempertahankan kemampuan yang bermakna.
Langkah selanjutnya
Terapkan teknik prompting umum untuk meningkatkan kualitas output multibahasa.
Bangun chatbot dukungan yang dilokalkan menggunakan prompt sistem yang dibatasi bahasanya.
Bandingkan tingkatan model untuk menyeimbangkan kualitas multibahasa dengan biaya dan latensi.
Evaluasi kualitas terjemahan dan lokalisasi sebelum Anda merilis.