🎙️ Tech and Testament: Episode #5
A technology updates podcast from the ETEN Innovation Lab
Audio and text versions of this post can be found below in the following languages:
English
Français
Español
官话
عربي
हिन्दी
Links to more information about things mentioned in the episode:
English
Audio:
Transcript:
Welcome to another episode of the Bible translation technology podcast, called Tech and Testament. This podcast is presented by the Every Tribe Every Nation Innovation Lab and is curated by me, Daniel Whitenack, founder and CEO at Prediction Guard. Each episode of Tech and Testament will provide updates on advancements in artificial intelligence and language technology. We will also reflect on how this technology might impact or intersect with Bible translation.
As a reminder you can find translations of the show into French, Spanish, Hindi, Mandarin, and Arabic on our substack page. And let’s practice some community checking. Please let us know if you find errors in these translations, so we can improve the translation quality.
Before we jump into the topic for today, I wanted to remind everyone listening about the Missional AI Summit, which will take place the 9th through the 11th of April 2024 at the Wycliffe Headquarters in Orlando, Florida. This is the main event of the year if you are wanting to gather with those who are practically applying AI within a missional context like Bible Translation, scripture engagement, or digital discipleship. Make sure you register at missional.ai and start planning your trip!
Ok… Today I want to talk about a trend that could directly impact Bible Translation in the very near term. Specifically I want to talk about the increasing number of unique, translation-related Large Language Models (or LLMs) that are being released. These LLM-based translation models behave uniquely and are created quite differently from the models that the translation industry has been using for many years (including the ones currently used in Google Translate and the models like No Language Left Behind, NLLB, from Meta). Let me explain.
Think of the familiar tools like Google Translate or big translation models like Meta's No Language Left Behind project as seasoned travelers who've been to many countries and learned how to communicate by memorizing phrases from guidebooks. If they have seen and used many phrases in many places, such travelers could likely infer or predict new translations not seen in guidebooks (by combining what they have naturally learned about vocabulary, grammar, etc). Models like those used in Google Translate or in projects like No Language Left Behind are created in a similar way. The computer algorithms behind these models are adjusted in a process called training that exposes the algorithm to enormous numbers of curated sentences in different languages, where the meaning and informational content across the sentences is aligned. This training process helps to configure the models to predict new translations similar to what happens with the seasoned traveler, and the process works really well for languages where they have lots of these 'guidebook phrases' (like Spanish or French). The process doesn’t work so well for local languages without any guidebooks (that is, without any known translation data).
Now, let’s imagine some different kinds of travelers (or models) that are attempting to overcome some of the shortcomings of the guidebook approach.
The recently released ALMA-R model (ALMA short for Advanced Language Model-based TrAnslator) begins by exposing the model to monolingual data across various languages. This step attempts to broaden the model's exposure to linguistic diversity, a fundamental limitation in earlier LLMs that were predominantly trained on English-centric datasets.
However, the real game-changer in ALMA-R’s development is the introduction of Contrastive Preference Optimization (CPO). Traditional methods of training models, while effective, often hit a ceiling in performance, limited by the quality and quantity of the training data. CPO addresses this by training ALMA-R with preference data, which not only helps in mimicking high-quality translations but also in avoiding common errors seen in translations, such as omissions or subtle inaccuracies. This approach is analogous to teaching our traveler not just to speak fluently, but to take in the discernment and subtlety of native speakers, recognizing and correcting minor errors that could change the meaning or tone of a sentence.
The results are telling. Post-CPO, ALMA-R shows remarkable improvements, matching or even surpassing the capabilities of larger models like GPT-4. In the world of Bible translation, where accuracy and nuance are paramount, ALMA-R's approach could be transformative. It offers a glimpse into a future where translation tools are not just mimicking example translations but are capable of nuanced expression across languages, including those that have been historically underserved by technology. This could be a boost to Bible translation suggestions, back translation drafting and editing, and more.
Turning our attention from ALMA, let’s next consider the Tower model, which presents intriguing possibilities, especially for Bible Translation teams who need more than just basic machine translation or drafted suggestions. This model is configured for a variety of language-related tasks and, as of now, supports major languages like English, German, French, Spanish, and Chinese. Tower can perform translation from one language to another, but it also can follow instructions to perform related tasks like grammatical error correction, automatic post-editing, and translation quality estimation. This flexibility in gateway languages, along with the possibility to extend the model to lower resourced languages, suggests that such a model could be a particularly valuable asset in Bible translation (where drafting is only a piece of a much larger and more nuanced translation process).
Tower is more akin to a language consultant than a seasoned traveler who has picked up languages by memorization and example. That is, the developers of this model attempt to infuse an understanding of a variety of translation related tasks and an array of relevant language skills. This depth of understanding is achieved through a two-step process of continued pre-training and instruction tuning.
In the pre-training phase, Tower is exposed to a vast, and diverse linguistic database. The instruction tuning phase is where Tower's capabilities are honed to handle specific translation-related challenges, akin to a language consultant refining their skills to master various linguistic tasks across languages. This includes understanding idiomatic expressions, grappling with contextual meanings, and adapting to different linguistic styles. As a result, Tower emerges as a model with surprising adaptability and proficiency, excelling in complex tasks like automatic post-editing, named-entity recognition, and error correction, much like an expert linguist who can navigate and resolve intricate linguistic issues across languages.
For Bible Translation teams, models like Tower could be hugely impactful. Beyond the basic task of translation, these teams confront challenges like adapting ancient texts to contemporary language constructs, preserving original meanings and tones, and translating for languages with scarce resources. Tower, with its advanced capabilities, extends beyond mere translation. It aids in refining translations to ensure grammatical correctness and contextual appropriateness. Although it is only currently able to do such tasks in Gateway languages, the model could be: (1) applied to the translation of resources for the Bible Aquifer; or (2) extended beyond Gateway languages using smaller amounts of data and in-context examples of translation tasks.
Now… lastly, I want to highlight one more LLM model in this same vein called “BigTranslate”. If we were to draw an analogy to describe BigTranslate, it wouldn’t be a traveler or a consultant. Rather, BigTranslate could be likened to an engineer building a vast and intricate network of bridges connecting diverse linguistic islands. Each bridge in this network symbolizes the model's ability to span the gap between languages, facilitating communication and understanding across a wide array of linguistic landscapes.
BigTranslate is an ambitious project in that it attempts to support over 100 natural languages. This expansive range is particularly notable given that many existing LLMs, like BLOOM or LLaMA, cover significantly fewer languages. To create the model, developers adapted an English model to proficiency in Chinese through extensive training with massive Chinese texts. This step can be seen as laying a first, strong foundational bridge. Following this, BigTranslate employs a large-scale parallel data set covering 102 languages, akin to constructing additional bridges that connect other linguistic islands. The model is trained according to a “curriculum” of language data, which is curated and ordered in a very specific way to ensure that each bridge is robust. The developers also performed additional training using a set of rich translation instructions. This phase is analogous to reinforcing and refining each bridge, ensuring they are not only strong but also adaptable to the specific linguistic requirements of each language.
In preliminary multilingual translation experiments, BigTranslate demonstrates its prowess, showing comparable or even superior performance to Google Translate and ChatGPT in many languages. This achievement highlights the methods used to create BigTranslate (and the model itself) as potentially relevant in Bible Translation. Technologists working with the Innovation Lab have already explored and discussed a proper “curriculum” or ordering of Bible translation data that might result in better or more robust AI models, and this effort seems to validate some of those approaches.
As I wrap up, I want to highlight a couple of general thoughts related to these models. I’ve used analogies of language learning travelers, language consultants, and engineers for illustrative purposes. I do not mean to imply that this new wave of models will replace language learners, consultants, engineers, or native speakers in the Bible translation process. If we look at the infusion of AI technology across many industries, it appears that what is really happening with AI technology is that humans adopting AI technology are replacing humans that don’t adopt AI technology.
Think about the advent of the computer itself and how it was infused into the Bible Translation process. In God’s grace, engineers and computer scientists created personal computing devices that could provide huge boosts in linguistic field work, translation, word processing, and more. Eventually, translators, consultants, administrators, and engineers that use computers replaced many translators, consultants, administrators, and engineers that don’t use computers. My point is that these roles played by humans are still at the heart of Bible Translation, and they won’t be replaced by LLM models like I’ve described here. Rather, the roles will change as this technology, a gift of God’s common grace from technology innovators, is adopted and infused into the process.
As we close out, I would encourage you to think about how your own role in Bible Translation might be assisted by the kinds of models that we talked about today. Would you be able to say “yes” to more opportunities if these models allowed you to be more productive and helpful and to avoid errors or inefficiencies?
If you want to find out more about these developments, check out the links in the show notes. Thanks for listening, and look for another episode of Tech and Testament soon!
Español
Audio:
Transcripción
Bienvenido a otro episodio del podcast sobre tecnología de traducción de la Biblia, llamado Tech and Testament. Este podcast es presentado por el Every Tribe Every Nation Innovation Lab y está comisariado por mí, Daniel Whitenack, fundador y director ejecutivo de Prediction Guard. Cada episodio de Tech and Testament proporcionará actualizaciones sobre los avances en inteligencia artificial y tecnología del lenguaje. También reflexionaremos sobre cómo esta tecnología podría afectar o interactuar con la traducción de la Biblia.
Como recordatorio, puedes encontrar traducciones de la serie al francés, español, hindi, mandarín y árabe en nuestra página de subpila. Y practiquemos un poco de verificación comunitaria. Háganos saber si encuentra errores en estas traducciones para que podamos mejorar la calidad de la traducción.
Antes de pasar al tema de hoy, quiero recordar a todos los que me están escuchando acerca de la Cumbre Misional sobre la IA, que tendrá lugar del 9 al 11 de abril de 2024 en la sede de Wycliffe en Orlando, Florida. Este es el evento principal del año si quieres reunirte con quienes están aplicando la IA de manera práctica en un contexto misional, como la traducción de la Biblia, la participación en las Escrituras o el discipulado digital. ¡Asegúrate de registrarte en missional.ai y comienza a planificar tu viaje!
Bien... Hoy quiero hablar sobre una tendencia que podría afectar directamente a la traducción de la Biblia a muy corto plazo. En concreto, quiero hablar sobre el número cada vez mayor de modelos lingüísticos extensos (o LLM) únicos y relacionados con la traducción que se están publicando. Estos modelos de traducción basados en un LLM tienen un comportamiento único y se crean de forma muy diferente a los modelos que el sector de la traducción ha estado utilizando durante muchos años (incluidos los que se utilizan actualmente en Google Translate y modelos como No Language Left Behind, NLLB, de Meta). Deja que te lo explique.
Piense en las herramientas conocidas, como Google Translate, o en los grandes modelos de traducción, como el proyecto No Language Left Behind de Meta, como viajeros experimentados que han visitado muchos países y han aprendido a comunicarse memorizando frases de guías. Si han visto y usado muchas frases en muchos lugares, es probable que esos viajeros puedan deducir o predecir nuevas traducciones que no aparecen en las guías (al combinar lo que han aprendido de forma natural sobre vocabulario, gramática, etc.). Los modelos como los que se utilizan en Google Translate o en proyectos como No Language Left Behind se crean de forma similar. Los algoritmos informáticos en los que se basan estos modelos se ajustan en un proceso denominado entrenamiento, que expone al algoritmo a un enorme número de frases seleccionadas en diferentes idiomas, en las que el significado y el contenido informativo de las frases están alineados. Este proceso de formación ayuda a configurar los modelos para predecir nuevas traducciones de forma similar a lo que ocurre con el viajero experimentado, y funciona muy bien en los idiomas en los que hay muchas de estas «frases de guía» (como el español o el francés). El proceso no funciona muy bien en los idiomas locales sin guías (es decir, sin datos de traducción conocidos).
Ahora, imaginemos diferentes tipos de viajeros (o modelos) que están intentando superar algunas de las deficiencias del enfoque basado en las guías.
El modelo ALMA-R (acrónimo de ALMA para Advanced Language Model-based TransLATor), publicado recientemente, comienza exponiendo el modelo a datos monolingües de varios idiomas. Con este paso se intenta ampliar la exposición del modelo a la diversidad lingüística, una limitación fundamental en los cursos de maestría anteriores, que se formaban principalmente en conjuntos de datos centrados en el inglés.
Sin embargo, lo que realmente cambió las reglas del juego en el desarrollo de ALMA-R es la introducción de la optimización de preferencias contrastantes (CPO). Los métodos tradicionales de modelos de entrenamiento, si bien son efectivos, a menudo llegan a un límite de rendimiento, limitado por la calidad y la cantidad de los datos de entrenamiento. El CPO aborda este problema capacitando a ALMA-R con datos de preferencias, lo que no solo ayuda a imitar traducciones de alta calidad, sino también a evitar errores comunes en las traducciones, como omisiones o imprecisiones sutiles. Este enfoque es análogo a enseñarle a nuestro viajero no solo a hablar con fluidez, sino también a asimilar el discernimiento y la sutileza de los hablantes nativos, a reconocer y corregir errores menores que podrían cambiar el significado o el tono de una oración.
Los resultados son reveladores. Tras la CPO, el ALMA-R muestra mejoras notables, igualando o incluso superando las capacidades de los modelos más grandes, como el GPT-4. En el mundo de la traducción de la Biblia, donde la precisión y los matices son primordiales, el enfoque de ALMA-R podría ser transformador. Ofrece una visión de un futuro en el que las herramientas de traducción no solo imiten traducciones ejemplares, sino que también sean capaces de expresar matices en todos los idiomas, incluidos aquellos que históricamente han estado desatendidos por la tecnología. Esto podría impulsar las sugerencias de traducción de la Biblia, la redacción y edición de la traducción inversa, y más.
Dejando de prestar atención a ALMA, consideremos ahora el modelo Tower, que presenta posibilidades interesantes, especialmente para los equipos de traducción de la Biblia que necesitan algo más que una traducción automática básica o sugerencias redactadas. Este modelo está configurado para una variedad de tareas relacionadas con el idioma y, por ahora, es compatible con los principales idiomas, como el inglés, el alemán, el francés, el español y el chino. Tower puede realizar traducciones de un idioma a otro, pero también puede seguir las instrucciones para realizar tareas relacionadas, como la corrección de errores gramaticales, la posedición automática y la estimación de la calidad de la traducción. Esta flexibilidad en los idiomas de entrada, junto con la posibilidad de extender el modelo a idiomas con menos recursos, sugiere que un modelo de este tipo podría ser un activo particularmente valioso en la traducción de la Biblia (donde la redacción es solo una parte de un proceso de traducción mucho más amplio y lleno de matices).
Tower se parece más a un consultor lingüístico que a un viajero experimentado que ha aprendido idiomas mediante la memorización y el ejemplo. Es decir, los desarrolladores de este modelo intentan inculcar la comprensión de una variedad de tareas relacionadas con la traducción y una serie de habilidades lingüísticas relevantes. Esta profundidad de comprensión se logra mediante un proceso de dos pasos: formación previa continua y puesta a punto de las instrucciones.
En la fase previa a la formación, Tower está expuesto a una base de datos lingüística amplia y diversa. Durante la fase de adaptación de las instrucciones, Tower perfecciona sus capacidades para hacer frente a desafíos específicos relacionados con la traducción, como si un consultor lingüístico perfeccionara sus habilidades para dominar diversas tareas lingüísticas en distintos idiomas. Esto incluye la comprensión de las expresiones idiomáticas, la comprensión de los significados contextuales y la adaptación a los diferentes estilos lingüísticos. Como resultado, Tower se perfila como un modelo con una capacidad de adaptación y competencia sorprendentes, que destaca en tareas complejas como la posedición automática, el reconocimiento de entidades denominadas y la corrección de errores, al igual que un lingüista experto que puede abordar y resolver problemas lingüísticos complejos en varios idiomas.
Para los equipos de traducción de la Biblia, modelos como Tower pueden tener un enorme impacto. Más allá de la tarea básica de traducir, estos equipos se enfrentan a desafíos como adaptar textos antiguos a las construcciones lingüísticas contemporáneas, preservar los significados y tonos originales y traducir para idiomas con escasos recursos. Tower, con sus capacidades avanzadas, va más allá de la mera traducción. Ayuda a refinar las traducciones para garantizar la corrección gramatical y la adecuación contextual. Aunque actualmente solo puede realizar estas tareas en los idiomas Gateway, el modelo podría: (1) aplicarse a la traducción de recursos para el Acuífero Bíblico; o (2) extenderse más allá de los idiomas Gateway utilizando cantidades más pequeñas de datos y ejemplos contextuales de tareas de traducción.
Ahora... por último, quiero destacar otro modelo de LLM en este mismo sentido llamado «BigTranslate». Si tuviéramos que hacer una analogía para describir BigTranslate, no sería la de un viajero o un consultor. Más bien, BigTranslate podría compararse con un ingeniero que construye una vasta e intrincada red de puentes que conectan diversas islas lingüísticas. Cada puente de esta red simboliza la capacidad del modelo para superar la brecha entre los idiomas, lo que facilita la comunicación y la comprensión en una amplia gama de paisajes lingüísticos.
BigTranslate es un proyecto ambicioso, ya que intenta admitir más de 100 lenguajes naturales. Esta amplia gama es particularmente notable dado que muchos LLM existentes, como BLOOM o LLama, cubren un número significativamente menor de idiomas. Para crear el modelo, los desarrolladores adaptaron un modelo en inglés al dominio del chino mediante una amplia formación con textos masivos en chino. Este paso puede considerarse como el establecimiento de un primer y sólido puente fundamental. Posteriormente, BigTranslate emplea un conjunto de datos paralelos a gran escala que abarca 102 idiomas, lo que equivale a construir puentes adicionales que conectan otras islas lingüísticas. El modelo se entrena de acuerdo con un «plan de estudios» de datos lingüísticos, que se selecciona y ordena de una manera muy específica para garantizar que cada puente sea sólido. Los desarrolladores también realizaron una formación adicional utilizando un conjunto de instrucciones de traducción enriquecidas. Esta fase es análoga a reforzar y perfeccionar cada puente, garantizando que no solo sean sólidos sino que también se adapten a los requisitos lingüísticos específicos de cada idioma.
En experimentos preliminares de traducción multilingüe, BigTranslate demuestra su destreza y muestra un rendimiento comparable o incluso superior al de Google Translate y ChatGPT en muchos idiomas. Este logro pone de relieve que los métodos utilizados para crear BigTranslate (y el modelo en sí) son potencialmente relevantes en la traducción de la Biblia. Los tecnólogos que trabajan en el Laboratorio de Innovación ya han estudiado y analizado la posibilidad de establecer un «plan de estudios» adecuado para los datos de traducción de la Biblia, lo que podría resultar en modelos de IA mejores o más sólidos, y este esfuerzo parece validar algunos de esos enfoques.
Para terminar, quiero destacar un par de ideas generales relacionadas con estos modelos. He utilizado analogías entre viajeros, consultores lingüísticos e ingenieros que aprenden idiomas con fines ilustrativos. No quiero decir
Français
l'audio
Transcription
Bienvenue dans un autre épisode du podcast sur la technologie de traduction de la Bible, intitulé Tech and Testament. Ce podcast est présenté par le laboratoire d'innovation Every Tribe Every Nation et a été organisé par moi, Daniel Whitenack, fondateur et PDG de Prediction Guard. Chaque épisode de Tech and Testament fournira des mises à jour sur les avancées en matière d'intelligence artificielle et de technologie du langage. Nous réfléchirons également à l'impact ou à l'intersection de cette technologie avec la traduction de la Bible.
Pour rappel, vous pouvez trouver les traductions de l'émission en français, espagnol, hindi, mandarin et arabe sur notre page des sous-séries. Et pratiquons le community checking. Veuillez nous informer si vous trouvez des erreurs dans ces traductions, afin que nous puissions améliorer la qualité de la traduction.
Avant d'aborder le sujet d'aujourd'hui, je voulais rappeler à tous ceux qui écoutent le Missional AI Summit, qui aura lieu du 9 au 11 avril 2024 au siège de Wycliffe à Orlando, en Floride. Il s'agit de l'événement principal de l'année si vous souhaitez vous réunir avec ceux qui appliquent pratiquement l'IA dans un contexte missionnaire tel que la traduction de la Bible, l'engagement dans les Écritures ou la formation de disciples numériques. Assurez-vous de vous inscrire sur missional.ai et commencez à planifier votre voyage !
Ok... Aujourd'hui, je voudrais parler d'une tendance qui pourrait avoir un impact direct sur la traduction de la Bible à très court terme. Plus précisément, je voudrais parler du nombre croissant de grands modèles linguistiques (ou LLM) uniques liés à la traduction qui sont publiés. Ces modèles de traduction basés sur LLM se comportent de manière unique et sont créés très différemment des modèles que le secteur de la traduction utilise depuis de nombreuses années (y compris ceux actuellement utilisés dans Google Translate et des modèles tels que No Language Left Behind, NLLB, de Meta). Laisse-moi t'expliquer.
Pensez à des outils familiers tels que Google Translate ou à de grands modèles de traduction tels que le projet No Language Left Behind de Meta, comme des voyageurs chevronnés qui ont visité de nombreux pays et ont appris à communiquer en mémorisant des phrases tirées de guides. S'ils ont vu et utilisé de nombreuses phrases dans de nombreux endroits, ces voyageurs pourraient probablement déduire ou prédire de nouvelles traductions qui ne figurent pas dans les guides (en combinant ce qu'ils ont naturellement appris en matière de vocabulaire, de grammaire, etc.). Des modèles tels que ceux utilisés dans Google Translate ou dans des projets tels que No Language Left Behind sont créés de la même manière. Les algorithmes informatiques qui sous-tendent ces modèles sont ajustés dans le cadre d'un processus appelé entraînement qui expose l'algorithme à un nombre énorme de phrases sélectionnées dans différentes langues, où le sens et le contenu informatif des phrases sont alignés. Ce processus de formation permet de configurer les modèles pour prévoir de nouvelles traductions, comme c'est le cas pour les voyageurs chevronnés, et le processus fonctionne très bien pour les langues contenant de nombreuses « phrases du guide » (comme l'espagnol ou le français). Le processus ne fonctionne pas très bien pour les langues locales sans aucun guide (c'est-à-dire sans aucune donnée de traduction connue).
Imaginons maintenant différents types de voyageurs (ou modèles) qui tentent de surmonter certaines des lacunes de l'approche des guides.
Le modèle ALMA-R récemment publié (ALMA, abréviation de Advanced Language Model-based Translator) commence par exposer le modèle à des données monolingues dans différentes langues. Cette étape vise à élargir l'exposition du modèle à la diversité linguistique, une limite fondamentale des LLM antérieurs qui étaient principalement formés sur des ensembles de données centrés sur l'anglais.
Cependant, l'introduction de l'optimisation des préférences contrastives (CPO) a véritablement changé la donne dans le développement d'ALMA-R. Les méthodes traditionnelles de formation, bien qu'efficaces, atteignent souvent un plafond de performance, limité par la qualité et la quantité des données d'entraînement. CPO y remédie en formant ALMA-R à des données de préférences, ce qui permet non seulement d'imiter des traductions de haute qualité, mais également d'éviter les erreurs courantes observées dans les traductions, telles que les omissions ou les inexactitudes subtiles. Cette approche revient à apprendre à notre voyageur non seulement à parler couramment, mais aussi à faire preuve de discernement et de subtilité des locuteurs natifs, en reconnaissant et en corrigeant les erreurs mineures susceptibles de modifier le sens ou le ton d'une phrase.
Les résultats sont éloquents. Après le CPO, l'ALMA-R présente des améliorations remarquables, égalant voire dépassant les capacités des modèles plus grands tels que le GPT-4. Dans le monde de la traduction de la Bible, où la précision et la nuance sont primordiales, l'approche d'ALMA-R pourrait être transformatrice. Il offre un aperçu d'un avenir où les outils de traduction ne se contenteront pas d'imiter des exemples de traductions, mais seront capables de s'exprimer de manière nuancée dans toutes les langues, y compris celles qui ont toujours été mal desservies par la technologie. Cela pourrait donner un coup de pouce aux suggestions de traduction de la Bible, à la rédaction et à l'édition de rétrotraductions, etc.
Passons maintenant à ALMA pour examiner le modèle Tower, qui présente des possibilités intéressantes, en particulier pour les équipes de traduction de la Bible qui ont besoin de bien plus qu'une simple traduction automatique de base ou de suggestions rédigées. Ce modèle est configuré pour diverses tâches liées à la langue et, pour l'instant, prend en charge les principales langues telles que l'anglais, l'allemand, le français, l'espagnol et le chinois. Tower peut effectuer des traductions d'une langue à une autre, mais il peut également suivre des instructions pour effectuer des tâches connexes telles que la correction des erreurs grammaticales, la post-édition automatique et l'estimation de la qualité de traduction. Cette flexibilité des langues passerelles, ainsi que la possibilité d'étendre le modèle à des langues à faibles ressources, suggèrent qu'un tel modèle pourrait être un atout particulièrement précieux pour la traduction de la Bible (où la rédaction n'est qu'une partie d'un processus de traduction beaucoup plus vaste et plus nuancé).
Tower ressemble plus à un consultant linguistique qu'à un voyageur aguerri qui a appris les langues par mémorisation et par l'exemple. C'est-à-dire que les développeurs de ce modèle tentent de transmettre une compréhension d'une variété de tâches liées à la traduction et d'un éventail de compétences linguistiques pertinentes. Cette compréhension approfondie est obtenue grâce à un processus en deux étapes consistant à poursuivre la formation préalable et à ajuster les instructions.
Au cours de la phase de pré-formation, Tower est exposée à une base de données linguistique vaste et diversifiée. La phase de réglage des instructions est l'étape où les capacités de Tower sont perfectionnées pour relever les défis spécifiques liés à la traduction, comme un consultant linguistique affine ses compétences pour maîtriser diverses tâches linguistiques dans différentes langues. Cela inclut la compréhension des expressions idiomatiques, la prise en compte des significations contextuelles et l'adaptation à différents styles linguistiques. Tower apparaît ainsi comme un modèle doté d'une adaptabilité et d'une compétence surprenantes, excellant dans des tâches complexes telles que la post-édition automatique, la reconnaissance d'entités nommées et la correction d'erreurs, tout comme un linguiste expert capable de naviguer et de résoudre des problèmes linguistiques complexes dans toutes les langues.
Pour les équipes de traduction de la Bible, des modèles tels que Tower peuvent avoir un impact considérable. Au-delà de la tâche fondamentale de traduction, ces équipes sont confrontées à des défis tels que l'adaptation de textes anciens aux constructions linguistiques contemporaines, la préservation des significations et des tons originaux et la traduction pour des langues aux ressources limitées. Tower, avec ses fonctionnalités avancées, va au-delà de la simple traduction. Il aide à affiner les traductions pour garantir l'exactitude grammaticale et la pertinence contextuelle. Bien qu'il ne soit actuellement capable d'effectuer de telles tâches que dans les langues Gateway, le modèle pourrait être : (1) appliqué à la traduction de ressources pour l'aquifère biblique ; ou (2) étendu au-delà des langues Gateway en utilisant de plus petites quantités de données et des exemples contextuels de tâches de traduction.
Maintenant... enfin, je voudrais souligner un autre modèle LLM dans le même esprit, appelé « BigTranslate ». Si nous devions établir une analogie pour décrire BigTranslate, il ne s'agirait ni d'un voyageur ni d'un consultant. BigTranslate pourrait plutôt être comparé à un ingénieur construisant un réseau vaste et complexe de ponts reliant diverses îles linguistiques. Chaque pont de ce réseau symbolise la capacité du modèle à combler le fossé entre les langues, facilitant ainsi la communication et la compréhension dans un large éventail de paysages linguistiques.
BigTranslate est un projet ambitieux dans la mesure où il tente de prendre en charge plus de 100 langues naturelles. Cette gamme étendue est particulièrement remarquable étant donné que de nombreux LLM existants, tels que BLOOM ou LLama, couvrent beaucoup moins de langues. Pour créer le modèle, les développeurs ont adapté un modèle anglais à la maîtrise du chinois grâce à une formation approfondie avec des textes chinois volumineux. Cette étape peut être considérée comme la mise en place d'un premier pont fondamental solide. BigTranslate utilise ensuite un ensemble de données parallèles à grande échelle couvrant 102 langues, comme pour construire des ponts supplémentaires reliant d'autres îles linguistiques. Le modèle est entraîné selon un « curriculum » de données linguistiques, qui est organisé et ordonné d'une manière très spécifique pour garantir la robustesse de chaque pont. Les développeurs ont également effectué une formation supplémentaire à l'aide d'un ensemble d'instructions de traduction détaillées. Cette phase est analogue au renforcement et à l'affinement de chaque pont, en veillant à ce qu'il soit non seulement solide mais également adaptable aux exigences linguistiques spécifiques de chaque langue.
Lors d'expériences préliminaires de traduction multilingue, BigTranslate démontre ses prouesses en affichant des performances comparables, voire supérieures à celles de Google Translate et de ChatGPT dans de nombreuses langues. Cette réalisation met en évidence les méthodes utilisées pour créer BigTranslate (et le modèle lui-même) comme étant potentiellement pertinentes pour la traduction de la Bible. Les technologues travaillant avec l'Innovation Lab ont déjà exploré et discuté d'un « programme » approprié ou d'un ordre des données de traduction de la Bible qui pourrait aboutir à des modèles d'IA meilleurs ou plus robustes, et cet effort semble valider certaines de ces approches.
Pour terminer, je voudrais souligner quelques réflexions générales liées à ces modèles. J'ai utilisé des analogies avec des voyageurs qui apprennent une langue, des consultants linguistiques et des ingénieurs à des fins d'illustration. Je ne veux pas dire
官话
声音的
成绩单
欢迎收看圣经翻译技术播客的另一集，名为《科技与遗嘱》。该播客由 “每个部落每个国家” 创新实验室主持，由我，Prediction Guard创始人兼首席执行官丹尼尔·惠特纳克策划。《科技与遗嘱》的每一集都将提供有关人工智能和语言技术进步的最新信息。我们还将反思这项技术将如何影响圣经翻译或与之交叉。
提醒一下，你可以在我们的子堆栈页面上找到该节目的法语、西班牙语、印地语、普通话和阿拉伯语的翻译。让我们来练习一下社区检查。如果您在这些翻译中发现错误，请告诉我们，以便我们提高翻译质量。
在我们进入今天的话题之前，我想提醒所有听众关于Missional AI峰会，该峰会将于2024年4月9日至11日在佛罗里达州奥兰多的威克利夫总部举行。如果你想与那些在圣经翻译、经文参与或数字门徒训练等宣教背景下实际应用人工智能的人聚在一起，这是今年的主要活动。一定要在 missional.ai 注册并开始计划行程！
好的... 今天我想谈谈一种可能在短期内直接影响圣经翻译的趋势。具体而言，我想谈谈越来越多的独特的、与翻译相关的大型语言模型（或LLM）正在发布。这些基于 LLM 的翻译模型表现独特，其创建方式与翻译行业多年来使用的模型（包括谷歌翻译中目前使用的模型以及来自 Meta 的 No Language Leff Behind、NLB 等模型）截然不同。让我解释一下。
可以将熟悉的工具（例如谷歌翻译）或大型翻译模型（比如 Meta 的 No Language Left Behind）项目想象成经验丰富的旅行者，他们去过许多国家，通过记住指南中的短语来学会如何沟通。如果他们在许多地方看到并使用了许多短语，那么这些旅行者很可能会推断或预测指南中没有的新译本（通过结合他们自然学到的词汇、语法等知识）。谷歌翻译或 “不留语言” 等项目中使用的模型也是以类似的方式创建的。这些模型背后的计算机算法是在一个称为训练的过程中进行调整的，该过程使算法暴露于大量不同语言的精选句子中，句子中的含义和信息内容保持一致。该训练过程有助于配置模型，以预测新的翻译，类似于经验丰富的旅行者所发生的情况，而且该过程对于他们拥有大量这些 “指导短语” 的语言（例如西班牙语或法语）非常有效。对于没有任何指南（即没有任何已知的翻译数据）的当地语言，这个过程就不太奏效。
现在，让我们想象一些不同类型的旅行者（或模特）试图克服指南方法的某些缺点。
最近发布的 ALMA-R 模型（ALMA 是基于高级语言模型的 TransLator 的缩写）首先将模型暴露给各种语言的单语言数据。这一步骤试图扩大模型对语言多样性的了解，这是早期主要使用以英语为中心的数据集进行培训的法学硕士的根本限制。
但是，ALMA-R 开发中真正改变游戏规则的是引入了对比偏好优化 (CPO)。传统的训练模型方法虽然有效，但由于训练数据质量和数量的限制，往往会达到性能的上限。CPO 通过使用偏好数据训练 ALMA-R 来解决这个问题，这不仅有助于模仿高质量的翻译，还有助于避免翻译中出现的常见错误，例如遗漏或细微的不准确之处。这种方法类似于教导我们的旅行者不仅要流利地说话，还要吸收母语人士的洞察力和微妙之处，识别和纠正可能改变句子含义或语气的微小错误。
结果很有说服力。在 CPO 之后，ALMA-R 表现出了显著的改进，与大型机型（如 GPT-4）的能力相提并论，甚至超过了。在圣经翻译的世界中，准确性和细微差别至关重要，ALMA-R的方法可能会带来变革。它让人们瞥见了未来的翻译工具，不仅可以模仿示例翻译，而且能够在各种语言（包括那些历史上技术服务不足的语言）之间进行细致的表达。这可能会推动圣经翻译建议、反向翻译起草和编辑等。
将注意力从ALMA转移过来，接下来让我们考虑一下Tower模型，它提供了有趣的可能性，特别是对于需要的不仅仅是基本的机器翻译或起草建议的圣经翻译团队而言。该模型配置用于各种与语言相关的任务，并且到目前为止，它支持英语、德语、法语、西班牙语和中文等主要语言。Tower 可以执行从一种语言到另一种语言的翻译，但它也可以按照说明执行相关任务，例如语法错误校正、自动译后编辑和翻译质量估计。网关语言的这种灵活性，以及将模型扩展到资源较少的语言的可能性，表明这样的模型可能是圣经翻译中特别宝贵的资产（在圣经翻译中，起草只是更大、更细致的翻译过程的一部分）。
塔更像是一位语言顾问，而不是经验丰富的旅行者，他通过记忆和榜样来学习语言。也就是说，该模型的开发者试图融入对各种翻译相关任务的理解和一系列相关的语言技能。这种理解深度是通过持续的预训练和教学调整的两步过程实现的。
在预训练阶段，Tower 会接触到一个庞大而多样的语言数据库。在教学调整阶段，Tower 的能力得到磨练，可以应对与翻译相关的特定挑战，就像语言顾问提高技能以掌握跨语言的各种语言任务一样。这包括理解惯用语表达、努力应对上下文含义以及适应不同的语言风格。因此，Tower 成为一个具有惊人适应能力和熟练度的模型，在自动后期编辑、命名实体识别和错误更正等复杂任务中表现出色，就像一位能够驾驭和解决跨语言错综复杂的语言问题的专业语言学家一样。
对于圣经翻译团队来说，像塔这样的模型可能会产生巨大的影响。除了翻译的基本任务外，这些团队还面临着诸如使古代文本适应当代语言结构、保留原始含义和语调以及为资源稀缺的语言进行翻译等挑战。Tower 凭借其先进的功能，不仅限于翻译。它有助于完善翻译，确保语法正确性和上下文适当性。尽管该模型目前只能使用Gateway语言完成此类任务，但它可以：（1）应用于圣经含水层资源的翻译；或者（2）使用少量数据和上下文中的翻译任务示例，将其扩展到网关语言以外。
现在... 最后，我想重点介绍另外一个名为 “BigTranslate” 的法学硕士模型，这与此类似。如果我们用一个比喻来描述BigTranslate，那将不是旅行者或顾问。相反，可以将BigTranslate比作一个连接不同语言岛屿的庞大而错综复杂的桥梁网络的工程师。该网络中的每座桥梁都象征着该模型能够跨越语言之间的鸿沟，促进各种语言环境之间的交流和理解。
BigTranslate是一个雄心勃勃的项目，它试图支持100多种自然语言。鉴于许多现有的 LLM，例如BLOOM或LLaMA，涵盖的语言要少得多，这种广阔的范围尤其引人注目。为了创建该模型，开发人员通过大量中文文本的大量培训，对英语模型进行了改编，使其精通中文。这一步可以看作是奠定了第一座坚实的基础桥梁。此后，BigTranslate使用了涵盖102种语言的大规模并行数据集，类似于建造连接其他语言岛屿的额外桥梁。该模型根据语言数据的 “课程” 进行训练，该课程以非常具体的方式进行策划和排序，以确保每座桥都坚固耐用。开发人员还使用一套丰富的翻译说明进行了额外的培训。这个阶段类似于加强和完善每座桥梁，确保它们不仅坚固耐用，而且能够适应每种语言的特定语言要求。
在初步的多语言翻译实验中，BigTranslate展示了其实力，在许多语言中表现出与谷歌翻译和ChatGPT相当甚至更高的性能。这项成就突显了用于创建BigTranslate（以及模型本身）的方法，这些方法可能与圣经翻译有关。与创新实验室合作的技术人员已经探索并讨论了适当的 “课程” 或圣经翻译数据的顺序，这可能会产生更好或更强大的人工智能模型，而这项工作似乎验证了其中一些方法。
在我总结的时候，我想重点介绍一些与这些模型有关的一般想法。为了说明目的，我使用了语言学习旅行者、语言顾问和工程师的类比。我不是这个意思
عربي
صوتي
نص
हिन्दी
ऑडियो
प्रतिलिपि
बाइबल ट्रांसलेशन टेक्नोलॉजी पॉडकास्ट के एक और एपिसोड में आपका स्वागत है, जिसे टेक एंड टेस्टामेंट कहा जाता है। यह पॉडकास्ट एवरी ट्राइब एवरी नेशन इनोवेशन लैब द्वारा प्रस्तुत किया गया है और इसे मेरे द्वारा क्यूरेट किया गया है, डैनियल व्हिटनैक, जो प्रेडिक्शन गार्ड के संस्थापक और सीईओ हैं। टेक एंड टेस्टामेंट का प्रत्येक एपिसोड आर्टिफिशियल इंटेलिजेंस और भाषा प्रौद्योगिकी में हुई प्रगति पर अपडेट प्रदान करेगा। हम इस बात पर भी विचार करेंगे कि यह तकनीक बाइबल अनुवाद को कैसे प्रभावित कर सकती है या इसमें अंतर कर सकती है।
एक अनुस्मारक के रूप में आप हमारे सबस्टैक पेज पर शो के फ्रेंच, स्पेनिश, हिंदी, मंदारिन और अरबी में अनुवाद पा सकते हैं। और आइए कुछ सामुदायिक जाँच का अभ्यास करें। अगर आपको इन अनुवादों में त्रुटियां मिलती हैं, तो कृपया हमें बताएं, ताकि हम अनुवाद की गुणवत्ता में सुधार कर सकें।
इससे पहले कि हम आज के विषय पर बात करें, मैं मिशनल AI शिखर सम्मेलन के बारे में सुनने वाले सभी लोगों को याद दिलाना चाहता हूं, जो 9 से 11 अप्रैल 2024 को ऑरलैंडो, फ्लोरिडा में विक्लिफ मुख्यालय में होगा। यदि आप उन लोगों के साथ इकट्ठा होना चाहते हैं, जो बाइबल अनुवाद, शास्त्र सहभागिता, या डिजिटल शिष्यत्व जैसे मिशनल संदर्भ में व्यावहारिक रूप से AI का उपयोग कर रहे हैं, तो यह वर्ष का मुख्य कार्यक्रम है। सुनिश्चित करें कि आप missional.ai पर रजिस्टर करें और अपनी यात्रा की योजना बनाना शुरू करें!
ठीक है... आज मैं एक ऐसी प्रवृत्ति के बारे में बात करना चाहता हूं जो बहुत निकट अवधि में सीधे बाइबल अनुवाद को प्रभावित कर सकती है। विशेष रूप से मैं रिलीज किए जा रहे अनूठे, अनुवाद-संबंधी बड़े भाषा मॉडल (या एलएलएम) की बढ़ती संख्या के बारे में बात करना चाहता हूं। ये एलएलएम-आधारित अनुवाद मॉडल विशिष्ट रूप से व्यवहार करते हैं और उन मॉडलों से काफी अलग तरीके से बनाए जाते हैं जिनका अनुवाद उद्योग कई वर्षों से उपयोग कर रहा है (जिनमें वर्तमान में Google अनुवाद में उपयोग किए जाने वाले मॉडल और मेटा से नो लैंग्वेज लेफ्ट बिहाइंड, एनएलएलबी जैसे मॉडल शामिल हैं)। मुझे समझाएं।
Google Translate जैसे परिचित टूल या मेटा के नो लैंग्वेज लेफ्ट बिहाइंड प्रोजेक्ट जैसे बड़े अनुवाद मॉडल को अनुभवी यात्रियों के रूप में सोचें, जो कई देशों में जा चुके हैं और गाइडबुक से वाक्यांशों को याद करके संवाद करना सीख चुके हैं। यदि उन्होंने कई जगहों पर कई वाक्यांशों को देखा और उनका उपयोग किया है, तो ऐसे यात्री गाइडबुक में नहीं देखे गए नए अनुवादों का अनुमान लगा सकते हैं या उनका अनुमान लगा सकते हैं (जो उन्होंने स्वाभाविक रूप से शब्दावली, व्याकरण आदि के बारे में सीखा है उसे मिलाकर)। Google Translate में इस्तेमाल होने वाले मॉडल या नो लैंग्वेज लेफ्ट बिहाइंड जैसी परियोजनाओं में इसी तरह से बनाए जाते हैं। इन मॉडलों के पीछे मौजूद कंप्यूटर एल्गोरिदम को प्रशिक्षण नामक प्रक्रिया में समायोजित किया जाता है, जो एल्गोरिथम को विभिन्न भाषाओं में बड़ी संख्या में क्यूरेट किए गए वाक्यों के बारे में बताता है, जहां सभी वाक्यों के अर्थ और सूचनात्मक सामग्री को संरेखित किया जाता है। यह प्रशिक्षण प्रक्रिया नए अनुवादों की भविष्यवाणी करने के लिए मॉडल को कॉन्फ़िगर करने में मदद करती है, जैसा कि अनुभवी यात्री के साथ होता है, और यह प्रक्रिया उन भाषाओं के लिए वास्तव में अच्छी तरह से काम करती है जहां उनके पास बहुत सारे 'गाइडबुक वाक्यांश' (जैसे स्पेनिश या फ्रेंच) हैं। यह प्रक्रिया बिना किसी गाइडबुक के (यानी बिना किसी ज्ञात अनुवाद डेटा के) स्थानीय भाषाओं के लिए इतनी अच्छी तरह से काम नहीं करती है।
अब, आइए कुछ अलग प्रकार के यात्रियों (या मॉडल) की कल्पना करें, जो गाइडबुक दृष्टिकोण की कुछ कमियों को दूर करने का प्रयास कर रहे हैं।
हाल ही में जारी किया गया ALMA-R मॉडल (उन्नत भाषा मॉडल-आधारित अनुवादक के लिए ALMA लघु) मॉडल को विभिन्न भाषाओं में मोनोलिंगुअल डेटा के सामने उजागर करने से शुरू होता है। यह कदम मॉडल के भाषाई विविधता के संपर्क को व्यापक बनाने का प्रयास करता है, जो पहले के एलएलएम में एक मूलभूत सीमा थी, जिन्हें मुख्य रूप से अंग्रेजी-केंद्रित डेटासेट पर प्रशिक्षित किया जाता था।
हालांकि, ALMA-R के विकास में असली गेम-चेंजर कॉन्ट्रास्टिव प्रेफरेंस ऑप्टिमाइज़ेशन (CPO) की शुरुआत है। प्रशिक्षण मॉडल के पारंपरिक तरीके, प्रभावी होते हुए भी, अक्सर प्रदर्शन की सीमा तक पहुँच जाते हैं, जो प्रशिक्षण डेटा की गुणवत्ता और मात्रा के आधार पर सीमित होते हैं। CPO प्राथमिकता डेटा के साथ ALMA-R को प्रशिक्षित करके इसका समाधान करता है, जो न केवल उच्च-गुणवत्ता वाले अनुवादों की नकल करने में मदद करता है, बल्कि अनुवादों में दिखाई देने वाली सामान्य त्रुटियों, जैसे कि चूक या सूक्ष्म अशुद्धियों से बचने में भी मदद करता है। यह दृष्टिकोण हमारे यात्रियों को न केवल धाराप्रवाह बोलना सिखाने के समान है, बल्कि देशी वक्ताओं की समझ और सूक्ष्मता को समझने, उन छोटी-मोटी त्रुटियों को पहचानने और सुधारने के लिए है जो एक वाक्य के अर्थ या स्वर को बदल सकती हैं।
नतीजे बता रहे हैं। पोस्ट-CPO, ALMA-R में उल्लेखनीय सुधार दिखाई देते हैं, जो GPT-4 जैसे बड़े मॉडलों की क्षमताओं से मेल खाते हैं या उनसे आगे निकल जाते हैं। बाइबल अनुवाद की दुनिया में, जहाँ सटीकता और बारीकियाँ सर्वोपरि हैं, ALMA-R का दृष्टिकोण परिवर्तनकारी हो सकता है। यह एक ऐसे भविष्य की झलक पेश करता है, जहां अनुवाद उपकरण न केवल उदाहरण अनुवादों की नकल कर रहे हैं, बल्कि उन भाषाओं में भी सूक्ष्म अभिव्यक्ति करने में सक्षम हैं, जिनमें वे भी शामिल हैं जिन्हें प्रौद्योगिकी द्वारा ऐतिहासिक रूप से वंचित किया गया है। यह बाइबल अनुवाद सुझावों, बैक ट्रांसलेशन ड्राफ्टिंग और संपादन, और बहुत कुछ को बढ़ावा दे सकता है।
ALMA से हमारा ध्यान हटाते हुए, आइए आगे टॉवर मॉडल पर विचार करें, जो दिलचस्प संभावनाएं प्रस्तुत करता है, खासकर बाइबल अनुवाद टीमों के लिए जिन्हें केवल बुनियादी मशीनी अनुवाद या ड्राफ़्ट किए गए सुझावों से अधिक की आवश्यकता होती है। यह मॉडल विभिन्न भाषा-संबंधी कार्यों के लिए कॉन्फ़िगर किया गया है और अभी तक, यह अंग्रेजी, जर्मन, फ्रेंच, स्पेनिश और चीनी जैसी प्रमुख भाषाओं का समर्थन करता है। टॉवर एक भाषा से दूसरी भाषा में अनुवाद कर सकता है, लेकिन यह व्याकरणिक त्रुटि सुधार, स्वचालित पोस्ट-संपादन और अनुवाद गुणवत्ता अनुमान जैसे संबंधित कार्यों को करने के लिए निर्देशों का पालन भी कर सकता है। गेटवे भाषाओं में यह लचीलापन, मॉडल को कम संसाधन वाली भाषाओं तक विस्तारित करने की संभावना के साथ, यह बताता है कि ऐसा मॉडल बाइबल अनुवाद में विशेष रूप से मूल्यवान संपत्ति हो सकता है (जहां ड्राफ्टिंग केवल एक बहुत बड़ी और अधिक सूक्ष्म अनुवाद प्रक्रिया का एक हिस्सा है)।
टॉवर एक अनुभवी यात्री की तुलना में एक भाषा सलाहकार के समान है, जिसने याद रखने और उदाहरण के आधार पर भाषाएं सीखी हैं। यानी, इस मॉडल के विकासकर्ता अनुवाद से संबंधित विभिन्न कार्यों और प्रासंगिक भाषा कौशल की एक श्रृंखला की समझ विकसित करने का प्रयास करते हैं। समझ की यह गहराई निरंतर प्री-ट्रेनिंग और इंस्ट्रक्शन ट्यूनिंग की दो-चरणीय प्रक्रिया के माध्यम से हासिल की जाती है।
प्रशिक्षण से पहले के चरण में, टॉवर को एक विशाल और विविध भाषाई डेटाबेस के संपर्क में लाया जाता है। इंस्ट्रक्शन ट्यूनिंग चरण वह होता है, जहां अनुवाद-संबंधी विशिष्ट चुनौतियों से निपटने के लिए टॉवर की क्षमताओं को निखारा जाता है, जैसे कि एक भाषा सलाहकार विभिन्न भाषाओं में विभिन्न भाषाई कार्यों में महारत हासिल करने के लिए अपने कौशल को परिष्कृत करता है। इसमें मुहावरेदार भावों को समझना, प्रासंगिक अर्थों से जूझना और विभिन्न भाषाई शैलियों को अपनाना शामिल है। परिणामस्वरूप, टॉवर आश्चर्यजनक अनुकूलन क्षमता और दक्षता के साथ एक मॉडल के रूप में उभरता है, जो स्वचालित पोस्ट-एडिटिंग, नाम-पहचान और त्रुटि सुधार जैसे जटिल कार्यों में उत्कृष्ट है, बिल्कुल एक विशेषज्ञ भाषाविद् की तरह जो भाषाओं में जटिल भाषाई मुद्दों को नेविगेट और हल कर सकता है।
बाइबल अनुवाद टीमों के लिए, टॉवर जैसे मॉडल बेहद प्रभावशाली हो सकते हैं। अनुवाद के मूल कार्य के अलावा, इन टीमों को प्राचीन ग्रंथों को समकालीन भाषा संरचनाओं में ढालने, मूल अर्थों और स्वरों को संरक्षित करने और दुर्लभ संसाधनों वाली भाषाओं के लिए अनुवाद करने जैसी चुनौतियों का सामना करना पड़ता है। टॉवर, अपनी उन्नत क्षमताओं के साथ, केवल अनुवाद से आगे तक फैला हुआ है। यह व्याकरणिक शुद्धता और प्रासंगिक उपयुक्तता सुनिश्चित करने के लिए अनुवादों को परिष्कृत करने में सहायता करता है। हालांकि यह वर्तमान में गेटवे भाषाओं में ही ऐसे कार्य करने में सक्षम है, मॉडल यह हो सकता है: (1) बाइबल एक्वीफर के लिए संसाधनों के अनुवाद पर लागू किया गया; या (2) कम मात्रा में डेटा और अनुवाद कार्यों के इन-कॉन्टेक्स्ट उदाहरणों का उपयोग करके गेटवे भाषाओं से आगे बढ़ाया जा सकता है।
अब... अंत में, मैं “BigTranslate” नामक इसी क्रम में एक और LLM मॉडल को उजागर करना चाहता हूं। अगर हम BigTranslate का वर्णन करने के लिए एक सादृश्य तैयार करें, तो यह कोई यात्री या परामर्शदाता नहीं होगा। इसके बजाय, BigTranslate की तुलना एक इंजीनियर से की जा सकती है, जो विविध भाषाई द्वीपों को जोड़ने वाले पुलों का एक विशाल और जटिल नेटवर्क बना रहा है। इस नेटवर्क का प्रत्येक ब्रिज भाषाओं के बीच के अंतर को दूर करने, भाषाई परिदृश्यों की एक विस्तृत श्रृंखला में संचार और समझ को सुविधाजनक बनाने की मॉडल की क्षमता का प्रतीक है।
BigTranslate एक महत्वाकांक्षी परियोजना है जिसमें यह 100 से अधिक प्राकृतिक भाषाओं का समर्थन करने का प्रयास करती है। यह विस्तृत रेंज विशेष रूप से उल्लेखनीय है क्योंकि कई मौजूदा एलएलएम, जैसे कि BLOOM या LLaMa, काफी कम भाषाओं को कवर करते हैं। मॉडल बनाने के लिए, डेवलपर्स ने बड़े पैमाने पर चीनी ग्रंथों के साथ व्यापक प्रशिक्षण के माध्यम से चीनी भाषा में प्रवीणता के लिए एक अंग्रेजी मॉडल को अनुकूलित किया। इस कदम को पहला, मजबूत आधारभूत पुल बनाने के रूप में देखा जा सकता है। इसके बाद, BigTranslate 102 भाषाओं को कवर करने वाला एक बड़े पैमाने पर समानांतर डेटा सेट का उपयोग करता है, जो अन्य भाषाई द्वीपों को जोड़ने वाले अतिरिक्त पुलों के निर्माण के समान है। मॉडल को भाषा डेटा के “पाठ्यक्रम” के अनुसार प्रशिक्षित किया जाता है, जिसे बहुत विशिष्ट तरीके से क्यूरेट और ऑर्डर किया जाता है ताकि यह सुनिश्चित किया जा सके कि प्रत्येक ब्रिज मज़बूत हो। डेवलपर्स ने समृद्ध अनुवाद निर्देशों के एक सेट का उपयोग करके अतिरिक्त प्रशिक्षण भी दिया। यह चरण प्रत्येक पुल को मजबूत और परिष्कृत करने के समान है, यह सुनिश्चित करता है कि वे न केवल मजबूत हों बल्कि प्रत्येक भाषा की विशिष्ट भाषाई आवश्यकताओं के अनुकूल भी हों।
प्रारंभिक बहुभाषी अनुवाद प्रयोगों में, BigTranslate अपने कौशल को प्रदर्शित करता है, जो कई भाषाओं में Google Translate और ChatGPT की तुलना में तुलनीय या उससे भी बेहतर प्रदर्शन दिखाता है। यह उपलब्धि बाइबल अनुवाद में संभावित रूप से प्रासंगिक BigTranslate (और स्वयं मॉडल) बनाने के लिए उपयोग की जाने वाली विधियों पर प्रकाश डालती है। इनोवेशन लैब के साथ काम करने वाले प्रौद्योगिकीविदों ने पहले से ही बाइबल अनुवाद डेटा के उचित “पाठ्यक्रम” या क्रम की खोज और चर्चा की है, जिसके परिणामस्वरूप बेहतर या अधिक मजबूत AI मॉडल हो सकते हैं, और ऐसा लगता है कि यह प्रयास उन तरीकों में से कुछ को मान्य करता है।
जैसे ही मैं समाप्त कर रहा हूं, मैं इन मॉडलों से संबंधित कुछ सामान्य विचारों को उजागर करना चाहता हूं। मैंने उदाहरण के लिए भाषा सीखने वाले यात्रियों, भाषा सलाहकारों और इंजीनियरों की उपमाओं का उपयोग किया है। मेरा मतलब यह नहीं है कि
Thanks for these insights, Dan!