llama.cpp
An open inference engine and API server — the base of everything here. Small and medium models run well on ordinary machines you already have — desktops, workstations or a modest GPU box — fully quantised, at a fraction of any cloud bill.
Un motor de inferencia abierto y servidor de API — la base de todo lo aquí. Los modelos pequeños y medianos funcionan bien en máquinas normales — ordenadores, estaciones o una GPU modesta — completamente cuantificados, a una fracción de cualquier factura de nube.
Un moteur d'infrence ouvert et serveur API — la base de tout ce qui ici. Les petits et moyens modèles tournent sur des machines ordinaires — bureau, station ou simple GPU — entièrement quantifiés, pour une fraction du prix du cloud.
Un motor d'inferència obert i servidor API — la base de todo lo aquí. Los modelos pequeños y medians funcionan bi en màquines normales — ordenadores, estaciones o una GPU modesta — quantificats per complet, a una fracció de la factura del núvol.