Cohere auf Hugging Face: Fortschrittliche KI-Modelle für Unternehmen

Hugging Face freut sich bekannt zu geben, dass Cohere nun als Inference Provider auf der Hugging Face Plattform verfügbar ist. Dies markiert einen wichtigen Meilenstein, da Cohere der erste Modellanbieter ist, der seine Modelle direkt auf dem Hugging Face Hub bereitstellt und ausführt.

Cohere hat sich darauf spezialisiert, KI-Modelle zu entwickeln, die speziell für Unternehmensanwendungen optimiert sind. Das Unternehmen bietet eine umfassende Palette an sicheren KI-Lösungen an – von modernster generativer KI bis hin zu leistungsstarken Embedding- und Ranking-Modellen. Diese sind darauf ausgelegt, reale geschäftliche Herausforderungen zu bewältigen.

Zusätzlich unterstützt Cohere Labs, das hauseigene Forschungslabor von Cohere, Grundlagenforschung und setzt sich dafür ein, die Bereiche, in denen Forschung stattfindet, zu verändern und zu erweitern.

Verfügbare Cohere-Modelle auf Hugging Face

Ab sofort können Sie über Cohere und die Inference Providers von Hugging Face serverlose Inferenz für folgende Modelle durchführen:

• CohereLabs/c4ai-command-r-v01
• CohereLabs/c4ai-command-r-plus
• CohereLabs/c4ai-command-r-08-2024
• CohereLabs/c4ai-command-r7b-12-2024
• CohereLabs/c4ai-command-a-03-2025
• CohereLabs/aya-expanse-8b
• CohereLabs/aya-expanse-32b
• CohereLabs/aya-vision-8b
• CohereLabs/aya-vision-32b

Diese Modelle bieten eine breite Palette von Fähigkeiten und sind für verschiedene Anwendungsfälle optimiert. Lassen Sie uns einige der Hauptmodelle genauer betrachten:

CohereLabs/c4ai-command-a-03-2025

Dieses Modell wurde speziell für anspruchsvolle Unternehmen entwickelt, die schnelle, sichere und hochwertige KI-Lösungen benötigen. Es zeichnet sich durch folgende Merkmale aus:

• Kontextlänge von 256k Tokens (doppelt so lang wie die meisten führenden Modelle)
• Verarbeitung deutlich längerer Unternehmensdokumente
• Fortschrittliche Retrieval-Augmented Generation (RAG) mit überprüfbaren Zitaten
• Agentenbasierte Werkzeugnutzung
• Unternehmenstaugliche Sicherheit
• Hervorragende mehrsprachige Leistung (Unterstützung für 23 Sprachen)

CohereLabs/aya-expanse-32b

Dieses Modell konzentriert sich auf erstklassige mehrsprachige Unterstützung, insbesondere für Sprachen mit geringeren Ressourcen:

• Unterstützt 23 Sprachen, darunter Arabisch, Chinesisch (vereinfacht & traditionell), Tschechisch, Niederländisch, Englisch, Französisch, Deutsch, Griechisch, Hebräisch, Hindi, Indonesisch, Italienisch, Japanisch, Koreanisch, Persisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Spanisch, Türkisch, Ukrainisch und Vietnamesisch
• Kontextlänge von 128k Tokens

CohereLabs/c4ai-command-r7b-12-2024

Dieses Modell eignet sich ideal für kostengünstige oder latenzarme Anwendungsfälle:

• State-of-the-Art-Leistung in seiner Klasse offener Gewichtsmodelle für reale Aufgaben
• Kontextlänge von 128k Tokens
• Leistungsstarke Kombination aus mehrsprachiger Unterstützung, zitierter Retrieval-Augmented Generation (RAG), Reasoning, Werkzeugnutzung und agentenbasiertem Verhalten
• Mehrsprachiges Modell, trainiert in 23 Sprachen

CohereLabs/aya-vision-32b

Ein 32-Milliarden-Parameter-Modell mit fortschrittlichen Fähigkeiten für verschiedene Vision-Language-Anwendungsfälle:

• Optimiert für OCR, Bildunterschriften, visuelles Reasoning, Zusammenfassung, Frage-Antwort, Code und mehr
• Erweitert multimodale Fähigkeiten auf 23 Sprachen, die von über der Hälfte der Weltbevölkerung gesprochen werden

Nutzung der Cohere-Modelle

Sie können die Cohere-Modelle direkt auf dem Hugging Face Hub verwenden, entweder über die Website-Benutzeroberfläche oder mithilfe der Client-SDKs. Lassen Sie uns die verschiedenen Möglichkeiten im Detail betrachten.

Über die Website-Benutzeroberfläche

Um Cohere-Modelle zu finden, können Sie im Model Hub nach dem Inference Provider „Cohere“ filtern. Auf der Modellkarte können Sie dann den Inference Provider auswählen und die Inferenz direkt in der Benutzeroberfläche ausführen.

Verwendung der Client-SDKs

Für Entwickler, die die Modelle programmatisch nutzen möchten, stehen verschiedene Client-SDKs zur Verfügung. Hier sind einige Beispiele:

Python mit huggingface_hub

Installieren Sie zunächst die neueste Version der huggingface_hub-Bibliothek:

pip install -U "huggingface_hub>=0.30.0"

Verwenden Sie dann den InferenceClient, um Cohere-Endpunkte aufzurufen:

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="cohere",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx",
)

messages = [
    {
        "role": "user",
        "content": "Wie macht man extrem scharfe Mayonnaise?"
    }
]

completion = client.chat.completions.create(
    model="CohereLabs/c4ai-command-r7b-12-2024",
    messages=messages,
    temperature=0.7,
    max_tokens=512,
)

print(completion.choices[0].message)

JavaScript mit @huggingface/inference

Für JavaScript-Entwickler steht die @huggingface/inference-Bibliothek zur Verfügung:

import { HfInference } from "@huggingface/inference";

const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");

const chatCompletion = await client.chatCompletion({
    model: "CohereLabs/c4ai-command-a-03-2025",
    messages: [
        {
            role: "user",
            content: "Wie macht man extrem scharfe Mayonnaise?"
        }
    ],
    provider: "cohere",
    max_tokens: 512
});

console.log(chatCompletion.choices[0].message);

Nutzung des OpenAI-Clients

Sie können die Cohere-Modelle auch über den OpenAI-Client aufrufen:

from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/cohere/compatibility/v1",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx",
)

messages = [
    {
        "role": "user",
        "content": "Wie macht man extrem scharfe Mayonnaise?"
    }
]

completion = client.chat.completions.create(
    model="command-a-03-2025",
    messages=messages,
    temperature=0.7,
)

print(completion.choices[0].message)

Werkzeugnutzung mit Cohere-Modellen

Eine besondere Stärke der Cohere-Modelle ist ihre Fähigkeit zur agentenbasierten Werkzeugnutzung. Dies ermöglicht es den Modellen, externe Funktionen und APIs zu verwenden, um komplexe Aufgaben zu lösen. Hier ein Beispiel, wie Sie diese Funktion nutzen können:

Definieren Sie zunächst die verfügbaren Werkzeuge:

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_flight_info",
            "description": "Fluginfos zwischen zwei Städten oder Flughäfen abrufen",
            "parameters": {
                "type": "object",
                "properties": {
                    "loc_origin": {
                        "type": "string",
                        "description": "Der Abflughafen, z.B. MUC",
                    },
                    "loc_destination": {
                        "type": "string",
                        "description": "Der Zielflughafen, z.B. BER",
                    },
                },
                "required": ["loc_origin", "loc_destination"],
            },
        },
    }
]

Übergeben Sie dann Nachrichten an den Inference-Client, damit das Modell die Werkzeuge bei Bedarf verwenden kann:

messages = [
    {"role": "developer", "content": "Heute ist der 30. April"},
    {
        "role": "user",
        "content": "Wann ist der nächste Flug von München nach Berlin?",
    },
    {
        "role": "assistant",
        "tool_calls": [
            {
                "function": {
                    "arguments": '{ "loc_destination": "Berlin", "loc_origin": "München" }',
                    "name": "get_flight_info",
                },
                "id": "get_flight_info0",
                "type": "function",
            }
        ],
    },
    {
        "role": "tool",
        "name": "get_flight_info",
        "tool_call_id": "get_flight_info0",
        "content": "München nach Berlin, 1. Mai, 8:30 Uhr.",
    },
]

Schließlich übergeben Sie die Werkzeuge und Nachrichten an die create-Methode:

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="cohere",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx",
)

completion = client.chat.completions.create(
    model="CohereLabs/c4ai-command-r7b-12-2024",
    messages=messages,
    tools=tools,
    temperature=0.7,
    max_tokens=512,
)

print(completion.choices[0].message)

Abrechnung und Kosten

Die Abrechnung für die Nutzung der Cohere-Modelle erfolgt je nach Authentifizierungsmethode:

• Bei direkten Anfragen mit einem Cohere-API-Schlüssel werden Sie direkt über Ihr Cohere-Konto abgerechnet.
• Bei Anfragen über den Hugging Face Hub zahlen Sie nur die Standard-Cohere-API-Gebühren ohne zusätzliche Aufschläge.

Wichtiger Hinweis: PRO-Nutzer erhalten jeden Monat Inference-Credits im Wert von 2 US-Dollar, die sie über verschiedene Anbieter hinweg nutzen können.

Fazit

Die Integration von Cohere als Inference Provider auf dem Hugging Face Hub eröffnet Entwicklern und Unternehmen neue Möglichkeiten, fortschrittliche KI-Modelle in ihre Anwendungen zu integrieren. Die breite Palette an spezialisierten Modellen, von mehrsprachigen Systemen bis hin zu multimodalen Lösungen, bietet für viele Anwendungsfälle die passende Lösung.

Durch die einfache Zugänglichkeit über die Hugging Face-Plattform und die Unterstützung verschiedener Programmiersprachen und Clients wird die Nutzung dieser leistungsstarken Modelle erheblich vereinfacht. Dies ermöglicht es Entwicklern, sich auf die Lösung ihrer spezifischen Probleme zu konzentrieren, anstatt sich mit der komplexen Implementierung von KI-Modellen auseinandersetzen zu müssen.

Wir laden Sie ein, die Cohere-Modelle auf dem Hugging Face Hub auszuprobieren und freuen uns darauf zu sehen, welche innovativen Lösungen Sie damit entwickeln werden!

Häufig gestellte Fragen (FAQ)