μοιράστηκε επίσης ορισμένους αριθμούς συγκριτικής αξιολόγησης για τα μοντέλα o3. Το o3 σημείωσε ένα πρωτοφανές 75,7% στην ARC-AGI Semi-Private Evaluation. Με μια διαμόρφωση o3 με υψηλή υπολογιστική ικανότητα, σημείωσε 87,5% στο Semi-Private Eval. Στο EpochAI Frontier Math benchmark, ο o3 έλυσε το 25,2% των προβλημάτων, ενώ τα υπάρχοντα μοντέλα έλυσαν μόνο το 2%. Στο SWE-Bench Verified, το o3 σημείωσε 71,7, δηλαδή 22,8 μονάδες υψηλότερη βαθμολογία από το o1. Στο Codeforces, το o3 πέτυχε βαθμολογία Elo 2727. Στο AIME 2024, το o3 πέτυχε βαθμολογία 96,7%. Για σύγκριση, ο o1 σημείωσε 83,3 πόντους. Στο GPQA Diamond, ο o3 σημείωσε 87,7%. Συγκριτικά, το o1 σημείωσε 78%. Η ομάδα ARC έγραψε τα εξής σχετικά με τα νέα μοντέλα o3 από την OpenAI: Το νέο μοντέλο o3 της OpenAI αντιπροσωπεύει ένα σημαντικό άλμα προς τα εμπρός στην ικανότητα της Τεχνητής Νοημοσύνης να προσαρμόζεται σε νέες εργασίες. Αυτό δεν είναι απλώς μια σταδιακή βελτίωση, αλλά μια πραγματική επανάσταση, που σηματοδοτεί μια ποιοτική αλλαγή στις δυνατότητες της AI σε σύγκριση με τους προηγούμενους περιορισμούς των LLM. Το o3 είναι ένα σύστημα ικανό να προσαρμόζεται σε εργασίες που δεν έχει αντιμετωπίσει ποτέ πριν, προσεγγίζοντας αναμφισβήτητα τις επιδόσεις σε ανθρώπινο επίπεδο στον τομέα ARC-AGI. Το μοντέλο o3 mini θα παρέχει στους χρήστες τη δυνατότητα να επιλέξουν μεταξύ τριών επιπέδων λογικής: Υψηλό, Μεσαίο και Χαμηλό. Το χαμηλό επίπεδο θα είναι το ταχύτερο αλλά λιγότερο ακριβές, ενώ το υψηλό επίπεδο θα είναι το πιο αργό αλλά πιο ακριβές. Η OpenAI δεν έχει κυκλοφορήσει ακόμη τα μοντέλα o3. Ωστόσο, έχει αρχίσει να μοιράζεται τα μοντέλα o3 για δοκιμές ασφάλειας και προστασίας, αρχής γενομένης από σήμερα. Οι ενδιαφερόμενοι ερευνητές ασφάλειας και προστασίας μπορούν επίσης να υποβάλουν αίτηση για να αποκτήσουν πρόσβαση στα μοντέλα o3 πριν από τη δημόσια κυκλοφορία. Τα μοντέλα o3 αναμένεται να είναι διαθέσιμα στο κοινό το 2025.
Η OpenAI
