🎙️ Tech and Testament: Episode #4
A technology updates podcast from the ETEN Innovation Lab
Audio and text versions of this post can be found below in the following languages:
English
Français
Español
官话
عربي
हिन्दी
Links to more information about things mentioned in the episode:
English
Audio:
Transcript:
Welcome to another episode of the Bible translation technology podcast, called Tech and Testament. This podcast is presented by the Every Tribe Every Nation Innovation Lab and is curated by me, Daniel Whitenack, founder and CEO at Prediction Guard. Each episode of Tech and Testament will provide updates on advancements in artificial intelligence and language technology. We will also reflect on how this technology might impact or intersect with Bible translation.
As a reminder you can find translations of the show into French, Spanish, Hindi, Mandarin, and Arabic on our substack page. And let’s practice some community checking. Please let us know if you find errors in these translations, so we can improve the translation quality.
Before we get to the latest AI things, I wanted to take a moment to remind everyone listening about the Missional AI Summit, which will take place the 9th through the 11th of April 2024 at the Wycliffe Headquarters in Orlando, Florida. This is the main event of the year if you are wanting to gather with those who are practically applying AI within a missional context like Bible Translation, scripture engagement, or digital discipleship.
There will be 100 or more organizations represented at the conference, and you will have a chance to sit down and discuss the practicalities of applying this technology within your ministry and other topics like ethics with leaders from ministries, universities, and industry. Some key focus areas at the conference this year include:
Content for Enhanced Knowledge and Understanding to help you gain deep insights into the intersection of AI and spirituality, and an understanding of how AI can be leveraged for spiritual growth and Bible translation.
Opportunities for Networking, where you can form connections with other professionals and experts in the field, possibly leading to future collaborations or partnerships.
Instruction in Practical Skills and Tools to help you learn about new tools, methodologies, or approaches in AI
Presentation of Inspirational Ideas to expose you to innovative ideas and projects at the intersection of AI and spirituality that can inspire new initiatives or ways of thinking.
I encourage all of you listening to this podcast to visit missional.ai to find out more and register. Again, the conference is the 9th through the 11th of April in Orlando, Florida and you can find out more information at missional.ai.
Now… onto some of the latest AI news.
This past month we have seen a number of interesting developments in language and vision models that indicate shifts in both AI model development and AI market diversification. We saw developments in new or different types of AI models from smaller, quick moving model builders like Mistral and Together AI and a bit of catch up and diversification of the market for AI models similar to those from OpenAI (with the release of Gemini from Google).
First let’s consider the developments out of Google with Gemini. Prior to the release of Gemini, Google seemed to be lagging a bit behind OpenAI in terms of the performance of their Bard system, powered by the PaLM models. These models performed worse than OpenAI models and even open access models on a number of benchmarks. I, along with many others, suspected that Google wouldn’t be happy with this situation and would attempt a major update to gain back some market share.
This appears to be what happened with Gemini. Although many of the features in Gemini seem similar to those we have seen with other systems, Google (and its Deepmind research team) are focused from the start on multi-modality. The Gemini models or system can process text, images, videos, or audio allowing users to perform automated speech recognition, image or video captioning, text and code generation, and more. As I mentioned, this update puts Google on a better model foundation compared to OpenAI and others, but the functionalities are not fundamentally different from what we have already seen. The release does likely spread out the AI foundation model market a bit, and it will be interesting to see adoption.
For those working in Bible Translation, it is encouraging that we are seeing multi-modal capabilities from these models. We could expect that models capable of processing text, audio, video, and code will greatly aid the creation of translation resources in the Bible Aquifer or other translation resources in the coming years. As of now it seems that the capabilities of Google’s Gemini are limited to less than 100 of the world’s languages, and the models are released closed source (that is, data must be sent to Google to use these models and they won’t run offline).
To contrast these developments from Google, I would like to highlight some major releases from smaller, more nimble AI model builders. These releases are different from those of Google in that the models released are open access, capable of being run offline, and permissively licensed for both research and commercial applications. Further, these releases represent momentum towards new kinds of models that could exhibit fundamentally different capabilities or performance. This is different from Google’s release in that Google’s models are similar in character to what we have seen before, even if they were trained on more data and utilize Google’s compute capabilities to surpass other models.
Take for instance, the release of Striped Hyena from Together AI. Together AI worked intentionally to move beyond the transformer architecture, which dominates models released from Google, OpenAI, Anthropic and others. The reason one might want to move beyond the transformer architecture is two fold: (1) these transformer architectures require huge amounts of compute to run at scale and are limited in offline use; and (2) new model architectures are required to move us beyond the incremental improvements in performance we have been seeing in recent months.
Striped Hyena from Together AI is a new kind of model that processes data in ways dissimilar from the transformer models from Google, OpenAI, and others with a focus on enabling better computational efficiency while maintaining the ability to process large amounts of text. It performs similarly to the best current open access Large Language Models while being more memory efficient.
For Bible Translation teams, a key takeaway from this work is that innovative groups are making real progress in models capable of being run offline or with cheaper hardware. In the near future, it is very likely that we will see more ChatGPT-like capabilities that can be run on your laptop without an Internet connection. The model is currently limited to English, but fine-tuned versions of this model are likely to proliferate for various tasks and languages over the coming months.
Lastly, I want to highlight the Mixtral model from Mistral. That is, the Mixstral (M-I-X) model from Mistral (M-I-S). Mistral is a well-funded, but independent model building startup. The Mixtral model follows on their work from an earlier released model, but they have modified the model architecture to be a so-called mixture-of-experts model. This mixture-of-experts combined 8 different instances of their Mistral model and processed inputs with multiple of these instances, combining the results. Although no one knows for sure, this is the suspected architecture of models like GPT4 that are closed source. Mixtral represents the first major open and permissively licensed mixture-of-experts Large Language Model.
The model handles English, French, Italian, German and Spanish inputs and it additionally shows strong performance in code generation. In fact, on many benchmarks, Mixtral exceeds the performance of GPT3.5 from OpenAI.
You might think that this mixture type of model is less computationally efficient, but, similar to Together AI, Mistral has intentionally worked on making the model run efficiently. They have integrated “sparse” techniques to control cost and latency.
As we draw this episode to a close, I think we can be encouraged in developments from AI innovators that align with some of our target applications for this technology within Bible Translation. God is showing blessings and grace as these companies are working on multi-modality and computational efficiency, two characteristics that will be mission critical as we scale out AI usage within Bible Translation.
If you want to find out more about these developments, check out the links in the show notes. Thanks for listening, and look for another episode of Tech and Testament soon!
Español
Audio:
Transcripción
Bienvenido a otro episodio del podcast sobre tecnología de traducción de la Biblia, llamado Tecnología y testamento. Este podcast es presentado por el laboratorio de innovación de Every Tribe Every Nation y está comisariado por mí, Daniel Whitenack, fundador y director ejecutivo de Prediction Guard. Cada episodio de Tech and Testament proporcionará actualizaciones sobre los avances en inteligencia artificial y tecnología del lenguaje. También reflexionaremos sobre cómo esta tecnología podría afectar o intersecarse con la traducción de la Biblia.
Como recordatorio, puedes encontrar traducciones de la serie al francés, español, hindi, mandarín y árabe en nuestra página principal. Y practiquemos algunas comprobaciones comunitarias. Háganos saber si encuentra errores en estas traducciones para que podamos mejorar la calidad de la traducción.
Antes de pasar a las últimas novedades sobre la IA, quiero dedicar un momento a recordar a todos los que me escuchen sobre la Cumbre Misional sobre Inteligencia Artificial, que tendrá lugar del 9 al 11 de abril de 2024 en la sede de Wycliffe en Orlando, Florida. Este es el evento principal del año si queréis reuniros con personas que estén aplicando la IA de manera práctica en un contexto misional, como la traducción de la Biblia, el compromiso con las Escrituras o el discipulado digital.
Habrá 100 o más organizaciones representadas en la conferencia, y tendrás la oportunidad de sentarte y discutir los aspectos prácticos de la aplicación de esta tecnología en tu ministerio y otros temas, como la ética, con líderes de ministerios, universidades e industrias. Algunas de las principales áreas de enfoque de la conferencia de este año incluyen:
Contenido para mejorar el conocimiento y la comprensión que le ayudará a obtener una visión profunda de la intersección entre la IA y la espiritualidad, y a comprender cómo la IA puede aprovecharse para el crecimiento espiritual y la traducción de la Biblia.
Oportunidades de creación de redes, donde podrá establecer contactos con otros profesionales y expertos en el campo, lo que posiblemente conduzca a futuras colaboraciones o asociaciones.
Instrucción sobre habilidades y herramientas prácticas para ayudarlo a aprender sobre nuevas herramientas, metodologías o enfoques en la IA
Presentación de ideas inspiradoras para presentarte ideas y proyectos innovadores en la intersección de la inteligencia artificial y la espiritualidad que pueden inspirar nuevas iniciativas o formas de pensar.
Os animo a todos a escuchar este podcast a visitar missional.ai para obtener más información y registraros. Una vez más, la conferencia tendrá lugar del 9 al 11 de abril en Orlando, Florida, y puede encontrar más información en missional.ai.
Ahora... pasemos a algunas de las últimas noticias sobre IA.
El mes pasado vimos una serie de novedades interesantes en los modelos de lenguaje y visión que indican cambios tanto en el desarrollo de los modelos de IA como en la diversificación del mercado de la IA. Vimos avances en modelos de IA nuevos o de tipos diferentes por parte de creadores de modelos más pequeños y rápidos, como Mistral y Together AI, y hemos ido recuperando y diversificando un poco el mercado de modelos de IA similares a los de OpenAI (con el lanzamiento de Gemini de Google).
En primer lugar, consideremos los avances de Google con Gemini. Antes del lanzamiento de Gemini, Google parecía estar un poco por detrás de OpenAI en cuanto al rendimiento de su sistema Bard, impulsado por los modelos PalM. Estos modelos tuvieron peores resultados que los modelos OpenAI e incluso los modelos de acceso abierto en varios puntos de referencia. Yo, junto con muchos otros, sospechábamos que Google no estaría de acuerdo con esta situación e intentaría realizar una actualización importante para recuperar algo de cuota de mercado.
Esto parece ser lo que pasó con Gemini. Aunque muchas de las características de Gemini parecen similares a las que hemos visto en otros sistemas, Google (y su equipo de investigación de Deepmind) se han centrado desde el principio en la multimodalidad. Los modelos o sistemas Gemini pueden procesar texto, imágenes, vídeos o audio, lo que permite a los usuarios realizar el reconocimiento automático de voz, la subtitulación de imágenes o vídeos, la generación de texto y código, etc. Como he mencionado, esta actualización coloca a Google sobre una base de modelo mejor en comparación con OpenAI y otros, pero las funcionalidades no son fundamentalmente diferentes de las que ya hemos visto. Es probable que la versión amplíe un poco el mercado de modelos básicos de IA, y será interesante ver su adopción.
Para quienes trabajan en la traducción de la Biblia, es alentador ver que estos modelos ofrecen capacidades multimodales. Es de esperar que los modelos capaces de procesar texto, audio, vídeo y código ayuden en gran medida a crear recursos de traducción en el Acuífero Bíblico u otros recursos de traducción en los próximos años. Por el momento, parece que las capacidades de Gemini de Google están limitadas a menos de 100 idiomas del mundo, y los modelos se publican en código cerrado (es decir, los datos deben enviarse a Google para utilizar estos modelos y no se ejecutarán sin conexión a Internet).
Para contrastar estos avances de Google, me gustaría destacar algunos de los principales lanzamientos de creadores de modelos de IA más pequeños y ágiles. Estas versiones se diferencian de las de Google en el sentido de que los modelos publicados son de acceso abierto, se pueden ejecutar sin conexión y tienen licencias permisivas tanto para aplicaciones comerciales como de investigación. Además, estas versiones representan un impulso hacia nuevos tipos de modelos que podrían presentar capacidades o prestaciones fundamentalmente diferentes. Esta versión difiere de la versión de Google en el sentido de que los modelos de Google son similares a los que hemos visto antes, incluso si se han basado en más datos y utilizan las capacidades de cómputo de Google para superar a otros modelos.
Tomemos, por ejemplo, el lanzamiento de Striped Hyena de Together AI. Together AI trabajó intencionadamente para ir más allá de la arquitectura transformadora, que predomina en los modelos lanzados por Google, OpenAI, Anthropic y otros. La razón por la que se podría querer ir más allá de la arquitectura transformadora es doble: (1) estas arquitecturas transformadoras requieren enormes cantidades de cómputo para funcionar a escala y su uso fuera de línea es limitado; y (2) se requieren nuevas arquitecturas de modelos para superar las mejoras graduales en el rendimiento que hemos estado viendo en los últimos meses.
Striped Hyena de Together AI es un nuevo tipo de modelo que procesa datos de manera diferente a los modelos de transformadores de Google, OpenAI y otros, con el objetivo de permitir una mejor eficiencia computacional y, al mismo tiempo, mantener la capacidad de procesar grandes cantidades de texto. Su rendimiento es similar al de los mejores modelos actuales de grandes lenguajes de acceso abierto y, al mismo tiempo, es más eficiente en términos de memoria.
Para los equipos de traducción de la Biblia, una de las principales conclusiones de este trabajo es que los grupos innovadores están haciendo verdaderos progresos en la creación de modelos que pueden ejecutarse sin conexión a Internet o con hardware más económico. En un futuro próximo, es muy probable que veamos más funciones similares a las de ChatGP que puedan ejecutarse en un portátil sin conexión a Internet. Actualmente, el modelo está limitado al inglés, pero es probable que en los próximos meses proliferen versiones perfeccionadas para diversas tareas e idiomas.
Por último, quiero destacar el modelo Mixtral de Mistral. Es decir, el modelo Mixstral (M-I-X) de Mistral (M-I-S). Mistral es una startup de creación de modelos bien financiada, pero independiente. El modelo Mixtral sigue la línea de trabajo de un modelo publicado anteriormente, pero han modificado la arquitectura del modelo para convertirlo en un modelo denominado de mezcla de expertos. Esta mezcla de expertos combinó 8 instancias diferentes de su modelo Mistral y procesó las entradas con varias de estas instancias, combinando los resultados. Aunque nadie lo sabe con certeza, esta es la arquitectura sospechosa de modelos de código cerrado como el GPT4. Mixtral representa el primer gran modelo de lenguaje extenso, abierto y con licencias permisivas, compuesto por expertos.
El modelo maneja entradas en inglés, francés, italiano, alemán y español y, además, muestra un excelente rendimiento en la generación de código. De hecho, en muchos puntos de referencia, Mixtral supera el rendimiento de la GPT3.5 de OpenAI.
Puede que pienses que este tipo de modelo mixto es menos eficiente desde el punto de vista computacional, pero, al igual que Together AI, Mistral ha trabajado intencionadamente para que el modelo funcione de manera eficiente. Han integrado técnicas «dispersas» para controlar los costes y la latencia.
Al cerrar este episodio, creo que podemos sentirnos alentados por los avances de los innovadores en inteligencia artificial que estén en consonancia con algunas de nuestras aplicaciones objetivo para esta tecnología en la traducción de la Biblia. Gracias a Dios, estas empresas están trabajando en la multimodalidad y la eficiencia computacional, dos características que serán fundamentales para nosotros a medida que ampliemos el uso de la inteligencia artificial en la traducción de la Biblia.
Si quieres obtener más información sobre estas novedades, consulta los enlaces de las notas del programa. Gracias por escuchar, ¡y esperad pronto otro episodio de Tech and Testament!
Français
l'audio
Transcription
Bienvenue dans un autre épisode du podcast sur les technologies de traduction de la Bible, intitulé Tech and Testament. Ce podcast est présenté par le Every Tribe Every Nation Innovation Lab et est organisé par moi, Daniel Whitenack, fondateur et PDG de Prediction Guard. Chaque épisode de Tech and Testament fournira des mises à jour sur les avancées en matière d'intelligence artificielle et de technologie linguistique. Nous réfléchirons également à la manière dont cette technologie pourrait avoir un impact ou se croiser avec la traduction de la Bible.
Pour rappel, vous trouverez les traductions de l'émission en français, espagnol, hindi, mandarin et arabe sur notre page secondaire. Et pratiquons un peu le community checking. Veuillez nous informer si vous trouvez des erreurs dans ces traductions afin que nous puissions améliorer la qualité de la traduction.
Avant de passer aux dernières actualités en matière d'IA, je voudrais prendre un moment pour rappeler à tous ceux qui écoutent le Missional AI Summit, qui aura lieu du 9 au 11 avril 2024 au siège de Wycliffe à Orlando, en Floride. Il s'agit de l'événement principal de l'année si vous souhaitez rencontrer des personnes qui appliquent concrètement l'IA dans un contexte missionnaire tel que la traduction de la Bible, l'engagement dans les Écritures ou le discipulat numérique.
Au moins 100 organisations seront représentées à la conférence, et vous aurez l'occasion de vous asseoir et de discuter des aspects pratiques de l'application de cette technologie au sein de votre ministère et d'autres sujets tels que l'éthique avec des dirigeants des ministères, des universités et de l'industrie. Parmi les principaux domaines d'intérêt de la conférence de cette année, citons :
Du contenu pour améliorer vos connaissances et votre compréhension afin de vous aider à mieux comprendre l'intersection entre l'IA et la spiritualité, et à comprendre comment l'IA peut être mise à profit pour la croissance spirituelle et la traduction de la Bible.
Opportunités de réseautage, où vous pouvez établir des liens avec d'autres professionnels et experts dans le domaine, ce qui pourrait mener à de futures collaborations ou partenariats.
Enseignement des compétences pratiques et des outils pour vous aider à découvrir de nouveaux outils, méthodologies ou approches en matière d'IA
Présentation d'idées inspirantes pour vous exposer à des idées et à des projets innovants à l'intersection de l'IA et de la spiritualité qui peuvent inspirer de nouvelles initiatives ou de nouvelles façons de penser.
J'encourage tous ceux qui écoutent ce podcast à visiter le site missional.ai pour en savoir plus et s'inscrire. Encore une fois, la conférence aura lieu du 9 au 11 avril à Orlando, en Floride et vous pouvez trouver plus d'informations sur missional.ai.
Passons maintenant à certaines des dernières actualités sur l'IA.
Le mois dernier, nous avons assisté à un certain nombre de développements intéressants dans les modèles de langage et de vision qui indiquent des changements à la fois dans le développement des modèles d'IA et dans la diversification du marché de l'IA. Nous avons assisté à l'évolution de types de modèles d'IA nouveaux ou différents, réalisés par des constructeurs de modèles plus petits et rapides tels que Mistral et Together AI, ainsi qu'à un certain rattrapage et à une diversification du marché pour des modèles d'IA similaires à ceux d'OpenAI (avec la sortie de Gemini par Google).
Examinons d'abord les développements de Google avec Gemini. Avant la sortie de Gemini, Google semblait être un peu à la traîne par rapport à OpenAI en termes de performances de son système Bard, alimenté par les modèles PALm. Ces modèles ont obtenu de moins bons résultats que les modèles OpenAI et même les modèles en libre accès sur un certain nombre de critères de référence. Comme beaucoup d'autres, je me doutais que Google ne serait pas satisfait de cette situation et tenterait une mise à jour majeure pour regagner des parts de marché.
Cela semble être ce qui s'est passé avec les Gémeaux. Bien que de nombreuses fonctionnalités de Gemini semblent similaires à celles que nous avons observées avec d'autres systèmes, Google (et son équipe de recherche Deepmind) se concentrent dès le départ sur la multimodalité. Les modèles ou systèmes Gemini peuvent traiter du texte, des images, des vidéos ou du son, ce qui permet aux utilisateurs d'effectuer une reconnaissance vocale automatisée, le sous-titrage d'images ou de vidéos, la génération de texte et de code, etc. Comme je l'ai mentionné, cette mise à jour place Google sur une meilleure base de modèle par rapport à OpenAI et à d'autres, mais les fonctionnalités ne sont pas fondamentalement différentes de ce que nous avons déjà vu. Cette version étale probablement un peu le marché des modèles de base sur l'IA, et il sera intéressant de voir leur adoption.
Pour ceux qui travaillent dans le domaine de la traduction de la Bible, il est encourageant de constater que ces modèles offrent des capacités multimodales. Nous pouvons nous attendre à ce que les modèles capables de traiter du texte, de l'audio, de la vidéo et du code facilitent grandement la création de ressources de traduction dans l'aquifère biblique ou d'autres ressources de traduction dans les années à venir. À l'heure actuelle, il semble que les fonctionnalités de Gemini de Google soient limitées à moins de 100 langues du monde, et les modèles sont publiés en source fermée (c'est-à-dire que les données doivent être envoyées à Google pour utiliser ces modèles et ils ne seront pas exécutés hors ligne).
Pour contraster avec ces développements de Google, j'aimerais souligner certaines versions majeures de créateurs de modèles d'IA plus petits et plus agiles. Ces versions sont différentes de celles de Google dans la mesure où les modèles publiés sont en libre accès, peuvent être exécutés hors ligne et sont autorisés sous licence pour des applications de recherche et commerciales. De plus, ces versions représentent une dynamique vers de nouveaux types de modèles qui pourraient présenter des capacités ou des performances fondamentalement différentes. Cela diffère de la publication de Google dans la mesure où les modèles de Google ont un caractère similaire à ce que nous avons vu auparavant, même s'ils ont été entraînés sur davantage de données et utilisent les capacités de calcul de Google pour surpasser les autres modèles.
Prenons par exemple la sortie de Striped Hyena de Together AI. Ensemble, AI a travaillé intentionnellement pour aller au-delà de l'architecture des transformateurs, qui domine les modèles publiés par Google, OpenAI, Anthropic et d'autres. La raison pour laquelle on peut vouloir aller au-delà de l'architecture des transformateurs est double : (1) ces architectures de transformateurs nécessitent d'énormes quantités de calcul pour fonctionner à grande échelle et sont limitées en matière d'utilisation hors ligne ; et (2) de nouvelles architectures de modèles sont nécessaires pour dépasser les améliorations progressives des performances constatées ces derniers mois.
Striped Hyena de Together AI est un nouveau type de modèle qui traite les données différemment des modèles de transformateurs de Google, OpenAI et d'autres, dans le but de permettre une meilleure efficacité informatique tout en conservant la capacité de traiter de grandes quantités de texte. Il fonctionne de la même manière que les meilleurs modèles linguistiques en libre accès actuels, tout en étant plus économe en mémoire.
Pour les équipes de traduction de la Bible, l'un des principaux enseignements de ce travail est que les groupes innovants font de réels progrès en matière de modèles pouvant être exécutés hors ligne ou avec du matériel moins cher. Dans un proche avenir, il est très probable que nous verrons davantage de fonctionnalités de type ChatGPT qui peuvent être exécutées sur votre ordinateur portable sans connexion Internet. Le modèle est actuellement limité à l'anglais, mais des versions affinées de ce modèle devraient se multiplier pour diverses tâches et langues au cours des prochains mois.
Enfin, je tiens à souligner le modèle Mixtral de Mistral. C'est-à-dire le modèle Mixstral (M-I-X) de Mistral (M-I-S). Mistral est une start-up de création de modèles bien financée mais indépendante. Le modèle Mixtral fait suite à leurs travaux à partir d'un modèle publié précédemment, mais ils ont modifié l'architecture du modèle pour en faire un modèle dit de mélange d'experts. Ce mélange d'experts a combiné 8 instances différentes de leur modèle Mistral et a traité les entrées avec plusieurs de ces instances, en combinant les résultats. Bien que personne ne le sache avec certitude, il s'agit de l'architecture présumée de modèles comme le GPT4 qui sont à source fermée. Mixtral représente le premier grand modèle de grand langage ouvert et sous licence permissive impliquant une combinaison d'experts.
Le modèle gère les entrées en anglais, français, italien, allemand et espagnol et montre en outre de solides performances dans la génération de code. En fait, sur de nombreux benchmarks, Mixtral dépasse les performances du GPT3.5 d'OpenAI.
Vous pourriez penser que ce type de modèle mixte est moins efficace sur le plan informatique, mais, à l'instar de Together AI, Mistral a intentionnellement travaillé pour que le modèle fonctionne efficacement. Ils ont intégré des techniques « rares » pour contrôler les coûts et la latence.
Alors que cet épisode touche à sa fin, je pense que nous pouvons être encouragés par les développements des innovateurs en matière d'IA qui correspondent à certaines de nos applications cibles pour cette technologie au sein de Bible Translation. Dieu fait preuve de bénédiction et de grâce alors que ces entreprises travaillent sur la multimodalité et l'efficacité informatique, deux caractéristiques qui seront essentielles à l'expansion de l'utilisation de l'IA au sein de Bible Translation.
Si vous souhaitez en savoir plus sur ces développements, consultez les liens dans les notes de l'émission. Merci de votre écoute, et à bientôt pour un autre épisode de Tech and Testament !
官话
声音的
成绩单
欢迎收看圣经翻译技术播客的另一集，名为《科技与遗嘱》。该播客由Every Tribe Every Nation创新实验室主持，由我、Predicting Guard创始人兼首席执行官丹尼尔·惠特纳克策划。《科技与遗嘱》的每一集都将提供有关人工智能和语言技术进步的最新信息。我们还将反思这项技术可能如何影响圣经翻译或与之交叉。
提醒一下，你可以在我们的substack页面上找到该节目的法语、西班牙语、印地语、普通话和阿拉伯语的翻译。让我们练习一些社区检查。如果您在这些翻译中发现错误，请告诉我们，这样我们就可以提高翻译质量。
在我们了解最新的人工智能之前，我想花点时间提醒所有听众注意Missional AI峰会，该峰会将于2024年4月9日至11日在佛罗里达州奥兰多的威克利夫总部举行。如果你想与那些在圣经翻译、圣经参与或数字门徒训练等宣教背景下实际应用人工智能的人聚会，那么这是今年的主要活动。
将有100个或更多的组织派代表参加会议，你将有机会坐下来，与来自部委、大学和行业的领导人讨论在你的部委中应用这项技术的可行性，以及道德等其他话题。今年会议的一些关键重点领域包括：
增强知识与理解的内容可帮助您深入了解人工智能与灵性的交叉点，并了解如何利用人工智能促进精神成长和圣经翻译。
社交机会，您可以在这里与该领域的其他专业人士和专家建立联系，从而可能促进未来的合作或伙伴关系。
实用技能和工具教学，可帮助您学习人工智能中的新工具、方法或方法
介绍鼓舞人心的想法，让你了解人工智能和灵性交汇处的创新想法和项目，这些想法和项目可以激发新的举措或思维方式。
我鼓励所有收听这个播客的人访问 missional.ai 以了解更多信息并注册。同样，会议将于4月9日至11日在佛罗里达州奥兰多举行，你可以在 missional.ai 上找到更多信息。
现在... 来了解一些最新的 AI 新闻。
在过去的一个月中，我们在语言和视觉模型方面看到了许多有趣的发展，这些发展表明人工智能模型开发和人工智能市场多样化都发生了变化。我们看到，诸如Mistral和Together AI等规模较小、快速移动的模型构建器开发了新的或不同类型的人工智能模型，以及与OpenAI类似的人工智能模型市场的追赶和多样化（谷歌发布了Gemini）。
首先，让我们考虑一下谷歌与双子座的发展。在Gemini发布之前，谷歌在由PalM模型提供支持的Bard系统的性能方面似乎略微落后于OpenAI。在许多基准测试中，这些模型的表现都比 OpenAI 模型甚至开放存取模型差。我和其他许多人一样，怀疑谷歌不会对这种情况感到满意，并会尝试进行重大更新以夺回部分市场份额。
这似乎是双子座发生的事情。尽管Gemini的许多功能看起来与我们在其他系统上看到的功能相似，但谷歌（及其Deepmind研究团队）从一开始就专注于多模态。Gemini 模型或系统可以处理文本、图像、视频或音频，允许用户执行自动语音识别、图像或视频字幕、文本和代码生成等。正如我所提到的，与OpenAI和其他更新相比，此更新为Google提供了更好的模型基础，但是其功能与我们已经看到的并没有根本的区别。该版本的发布可能会稍微分散人工智能基础模型市场，看到它的采用会很有趣。
对于那些从事圣经翻译工作的人来说，令人鼓舞的是，我们从这些模型中看到了多模态功能。我们可以预计，在未来几年中，能够处理文本、音频、视频和代码的模型将极大地帮助在圣经含水层中创建翻译资源或其他翻译资源。截至目前，谷歌的Gemini的功能似乎仅限于世界上不到100种语言，并且这些模型是封闭源发布的（也就是说，必须将数据发送给谷歌才能使用这些模型，并且它们不会离线运行）。
为了对比谷歌的这些进展，我想重点介绍规模更小、更灵活的人工智能模型构建者发布的一些重要版本。这些版本与谷歌的不同之处在于，发布的模型是开放访问的，可以离线运行，并且已获许可用于研究和商业应用。此外，这些版本代表了开发可能表现出根本不同功能或性能的新型号的势头。这与谷歌发布的不同之处在于，谷歌的模型在本质上与我们之前看到的模型相似，尽管它们是根据更多数据进行训练的，并利用谷歌的计算能力来超越其他模型。
以 Together AI 发布的 Striped Hyena 为例。人工智能有意携手合作，超越了变形架构，而变压器架构在谷歌、OpenAI、Anthropic等公司发布的模型中占据主导地位。人们可能想要超越变压器架构的原因有两个：（1）这些变压器架构需要大量的计算才能大规模运行，并且仅限于离线使用；（2）需要新的模型架构才能使我们超越最近几个月看到的性能渐进式改进。
来自 Together AI 的 Striped Hyena 是一种新型模型，其处理数据的方式与谷歌、OpenAI 和其他公司的变压器模型不同，其重点是在保持处理大量文本的能力的同时提高计算效率。它的性能与当前最好的开放存取大型语言模型类似，同时内存效率更高。
对于圣经翻译团队来说，这项工作的关键收获是，创新团队在能够离线运行或使用更便宜硬件运行的模型方面取得了真正的进展。在不久的将来，我们很可能会看到更多类似ChatGPT的功能，这些功能可以在没有互联网连接的情况下在笔记本电脑上运行。该模型目前仅限于英语，但是在接下来的几个月中，该模型的微调版本可能会大量增加，用于各种任务和语言。
最后，我想重点介绍来自Mistral的Mixtral模型。也就是说，来自米斯特拉尔（M-I-S）的Mixstral（M-I-X）模型。Mistral是一家资金充足但独立的模型建造初创公司。Mixtral模型沿袭了他们先前发布的模型，但他们已将模型架构修改为所谓的专家混合模型。这组专家组合了他们的 Mistral 模型的 8 个不同实例，并将输入与其中多个实例相结合，并结合了结果。尽管没人能确定，但这是像 GPT4 这样的闭源模型的可疑架构。Mixtral是第一个主要的开放且获得许可的专家混合大型语言模型。
该模型可处理英语、法语、意大利语、德语和西班牙语输入，并且在代码生成方面表现出强劲的性能。实际上，在许多基准测试中，Mixtral的性能都超过了OpenAI的GPT3.5。
你可能会认为这种混合类型的模型的计算效率较低，但是，与 Together AI 类似，Mistral 有意努力使模型高效运行。他们集成了 “稀疏” 技术来控制成本和延迟。
在这一集接近尾声之际，我认为人工智能创新者的发展可以鼓舞我们，这些开发与我们在圣经翻译中该技术的一些目标应用保持一致。当这些公司努力提高多模态和计算效率时，上帝在赐予祝福和恩典，当我们在圣经翻译中推广人工智能的使用时，这两个特征将至关重要。
如果您想进一步了解这些进展，请查看展会说明中的链接。感谢您的收听，稍后再看《科技与遗嘱》的另一集！
عربي
صوتي
نص
हिन्दी
ऑडियो
प्रतिलिपि
बाइबल अनुवाद प्रौद्योगिकी पॉडकास्ट के एक और एपिसोड में आपका स्वागत है, जिसे टेक एंड टेस्टामेंट कहा जाता है। यह पॉडकास्ट एवरी ट्राइब एवरी नेशन इनोवेशन लैब द्वारा प्रस्तुत किया गया है और इसे मेरे द्वारा क्यूरेट किया गया है, प्रिडिक्शन गार्ड के संस्थापक और सीईओ डैनियल व्हिटनैक। टेक एंड टेस्टामेंट का प्रत्येक एपिसोड आर्टिफिशियल इंटेलिजेंस और भाषा प्रौद्योगिकी में प्रगति के बारे में अपडेट प्रदान करेगा। हम इस बात पर भी विचार करेंगे कि यह तकनीक बाइबल अनुवाद को कैसे प्रभावित कर सकती है या इससे कैसे प्रभावित हो सकती है।
एक अनुस्मारक के रूप में आप हमारे सबस्टैक पेज पर शो के फ्रेंच, स्पेनिश, हिंदी, मंदारिन और अरबी में अनुवाद पा सकते हैं। और चलिए कुछ सामुदायिक जाँच का अभ्यास करते हैं। अगर आपको इन अनुवादों में त्रुटियाँ मिलती हैं, तो कृपया हमें बताएं, ताकि हम अनुवाद की गुणवत्ता में सुधार कर सकें।
इससे पहले कि हम नवीनतम AI चीज़ों तक पहुँचें, मैं कुछ समय निकालकर मिसनल AI समिट के बारे में सुनने वाले सभी लोगों को याद दिलाना चाहता हूँ, जो 9 से 11 अप्रैल 2024 तक ऑरलैंडो, फ़्लोरिडा के विक्लिफ़ मुख्यालय में होगा। यह वर्ष का मुख्य कार्यक्रम है यदि आप उन लोगों के साथ इकट्ठा होना चाहते हैं जो व्यावहारिक रूप से बाइबल अनुवाद, शास्त्र जुड़ाव, या डिजिटल शिष्यत्व जैसे मिशन के संदर्भ में AI को लागू कर रहे हैं।
सम्मेलन में 100 या उससे अधिक संगठनों का प्रतिनिधित्व किया जाएगा, और आपको मंत्रालयों, विश्वविद्यालयों और उद्योग के नेताओं के साथ अपने मंत्रालय के भीतर इस तकनीक को लागू करने की व्यावहारिकताओं और नैतिकता जैसे अन्य विषयों पर बैठकर चर्चा करने का मौका मिलेगा। इस वर्ष सम्मेलन के कुछ प्रमुख क्षेत्रों में शामिल हैं:
AI और आध्यात्मिकता के चौराहे के बारे में गहरी जानकारी प्राप्त करने में आपकी मदद करने के लिए उन्नत ज्ञान और समझ के लिए सामग्री, और यह समझने में मदद करती है कि आध्यात्मिक विकास और बाइबल अनुवाद के लिए AI का लाभ कैसे उठाया जा सकता है।
नेटवर्किंग के अवसर, जहां आप क्षेत्र के अन्य पेशेवरों और विशेषज्ञों के साथ संबंध बना सकते हैं, जिससे संभवतः भविष्य में सहयोग या साझेदारी हो सकती है।
AI में नए टूल, कार्यप्रणाली या दृष्टिकोण के बारे में जानने में आपकी मदद करने के लिए व्यावहारिक कौशल और टूल में निर्देश
AI और आध्यात्मिकता के चौराहे पर आपको नवीन विचारों और परियोजनाओं से अवगत कराने के लिए प्रेरणादायक विचारों की प्रस्तुति जो नई पहलों या सोचने के तरीकों को प्रेरित कर सकती हैं।
मैं इस पॉडकास्ट को सुनने वाले आप सभी को और जानने और रजिस्टर करने के लिए missional.ai पर जाने के लिए प्रोत्साहित करता हूं। फिर से, ऑरलैंडो, फ़्लोरिडा में 9 से 11 अप्रैल तक का सम्मेलन है और आप missional.ai पर अधिक जानकारी प्राप्त कर सकते हैं।
अब... AI से जुड़ी कुछ नवीनतम खबरों के बारे में।
पिछले महीने हमने भाषा और विज़न मॉडल में कई दिलचस्प विकास देखे हैं जो AI मॉडल के विकास और AI बाज़ार विविधीकरण दोनों में बदलाव का संकेत देते हैं। हमने मिस्ट्रल और टुगेदर एआई जैसे छोटे, तेजी से आगे बढ़ने वाले मॉडल बिल्डरों के नए या अलग-अलग प्रकार के AI मॉडल में विकास देखा और OpenAI (Google से जेमिनी की रिलीज़ के साथ) के समान AI मॉडल के लिए बाज़ार में थोड़ी पकड़ और विविधीकरण देखा।
सबसे पहले, आइए जेमिनी के साथ Google के घटनाक्रम पर विचार करें। जेमिनी के रिलीज़ होने से पहले, Google PalM मॉडल द्वारा संचालित अपने बार्ड सिस्टम के प्रदर्शन के मामले में OpenAI से थोड़ा पीछे लग रहा था। इन मॉडलों ने कई बेंचमार्क पर OpenAI मॉडल और यहां तक कि ओपन एक्सेस मॉडल से भी खराब प्रदर्शन किया। मुझे, कई अन्य लोगों के साथ, संदेह था कि Google इस स्थिति से खुश नहीं होगा और कुछ बाज़ार हिस्सेदारी हासिल करने के लिए एक बड़े अपडेट का प्रयास करेगा।
ऐसा प्रतीत होता है कि मिथुन राशि के साथ ऐसा ही हुआ है। हालाँकि जेमिनी में कई सुविधाएँ वैसी ही लगती हैं जैसी हमने अन्य प्रणालियों के साथ देखी हैं, Google (और इसकी दीपमाइंड रिसर्च टीम) शुरू से ही मल्टी-मोडैलिटी पर केंद्रित हैं। जेमिनी मॉडल या सिस्टम टेक्स्ट, इमेज, वीडियो या ऑडियो को प्रोसेस कर सकता है, जिससे यूज़र स्वचालित रूप से स्पीच रिकग्निशन, इमेज या वीडियो कैप्शनिंग, टेक्स्ट और कोड जनरेशन आदि कर सकते हैं। जैसा कि मैंने उल्लेख किया है, यह अपडेट Google को OpenAI और अन्य की तुलना में बेहतर मॉडल आधार पर रखता है, लेकिन जो हमने पहले ही देखा है, उससे कार्यक्षमताएं मूलभूत रूप से भिन्न नहीं हैं। इस रिलीज़ से AI फ़ाउंडेशन मॉडल बाज़ार में थोड़ा विस्तार होने की संभावना है, और इसे अपनाना दिलचस्प होगा।
बाइबल अनुवाद में काम करने वालों के लिए, यह उत्साहजनक है कि हम इन मॉडलों से मल्टी-मोडल क्षमताएं देख रहे हैं। हम उम्मीद कर सकते हैं कि टेक्स्ट, ऑडियो, वीडियो और कोड को प्रोसेस करने में सक्षम मॉडल आने वाले वर्षों में बाइबल एक्वीफर या अन्य अनुवाद संसाधनों में अनुवाद संसाधनों के निर्माण में काफी मदद करेंगे। अभी तक ऐसा लगता है कि Google की जेमिनी की क्षमताएं दुनिया की 100 से कम भाषाओं तक सीमित हैं, और मॉडल बंद स्रोत से जारी किए गए हैं (यानी, इन मॉडलों का उपयोग करने के लिए Google को डेटा भेजा जाना चाहिए और वे ऑफ़लाइन नहीं चलेंगे)।
Google के इन विकासों की तुलना करने के लिए, मैं छोटे, अधिक फुर्तीले AI मॉडल बिल्डरों की कुछ प्रमुख रिलीज़ को उजागर करना चाहूँगा। ये रिलीज़ Google की रिलीज़ से इस मायने में भिन्न हैं कि रिलीज़ किए गए मॉडल ओपन एक्सेस वाले हैं, जिन्हें ऑफ़लाइन चलाया जा सकता है, और इन्हें शोध और व्यावसायिक अनुप्रयोगों दोनों के लिए अनुमत रूप से लाइसेंस दिया गया है। इसके अलावा, ये रिलीज़ नए प्रकार के मॉडल की ओर गति का प्रतिनिधित्व करती हैं, जो मूलभूत रूप से भिन्न क्षमताओं या प्रदर्शन को प्रदर्शित कर सकते हैं। यह Google की रिलीज़ से इस मायने में अलग है कि Google के मॉडल वैसी ही हैं जैसी हमने पहले देखी हैं, भले ही उन्हें अधिक डेटा पर प्रशिक्षित किया गया हो और वे अन्य मॉडलों से आगे निकलने के लिए Google की गणना क्षमताओं का उपयोग करते हों।
उदाहरण के लिए, टुगेदर AI से स्ट्रिप्ड हाइना की रिलीज़ को लें। साथ मिलकर AI ने ट्रांसफॉर्मर आर्किटेक्चर से आगे बढ़ने के लिए जानबूझकर काम किया, जो Google, OpenAI, Anthropic और अन्य से जारी किए गए मॉडल पर हावी है। ट्रांसफॉर्मर आर्किटेक्चर से आगे बढ़ने का कारण दो गुना हो सकता है: (1) इन ट्रांसफॉर्मर आर्किटेक्चर को बड़े पैमाने पर चलाने के लिए भारी मात्रा में कंप्यूट की आवश्यकता होती है और ये ऑफ़लाइन उपयोग में सीमित होते हैं; और (2) हाल के महीनों में हमारे द्वारा देखे जा रहे प्रदर्शन में वृद्धिशील सुधारों से आगे बढ़ने के लिए नए मॉडल आर्किटेक्चर की आवश्यकता होती है।
टुगेदर एआई से स्ट्राइप्ड हाइना एक नए तरह का मॉडल है जो बड़ी मात्रा में टेक्स्ट को प्रोसेस करने की क्षमता को बनाए रखते हुए बेहतर कम्प्यूटेशनल दक्षता को सक्षम करने पर ध्यान देने के साथ Google, OpenAI और अन्य के ट्रांसफॉर्मर मॉडल से भिन्न तरीके से डेटा को प्रोसेस करता है। यह अधिक मेमोरी कुशल होने के साथ-साथ सबसे अच्छे मौजूदा ओपन एक्सेस लार्ज लैंग्वेज मॉडल के समान ही प्रदर्शन करता है।
बाइबल अनुवाद टीमों के लिए, इस काम का एक महत्वपूर्ण पहलू यह है कि नवोन्मेषी समूह ऑफ़लाइन या सस्ते हार्डवेयर के साथ चलाए जा सकने वाले मॉडलों में वास्तविक प्रगति कर रहे हैं। निकट भविष्य में, यह बहुत संभव है कि हम और अधिक ChatGPT जैसी क्षमताएं देखेंगे जिन्हें इंटरनेट कनेक्शन के बिना आपके लैपटॉप पर चलाया जा सकता है। यह मॉडल फ़िलहाल अंग्रेज़ी तक ही सीमित है, लेकिन आने वाले महीनों में इस मॉडल के ठीक-ठाक संस्करणों के विभिन्न कार्यों और भाषाओं के लिए बढ़ने की संभावना है।
अंत में, मैं मिस्ट्रल से मिक्सट्रल मॉडल को उजागर करना चाहता हूं। यानी मिस्ट्रल (M-I-S) का मिक्सस्ट्राल (M-I-X) मॉडल। मिस्ट्रल एक अच्छी तरह से वित्त पोषित, लेकिन स्वतंत्र मॉडल बिल्डिंग स्टार्टअप है। मिक्सट्रल मॉडल पहले रिलीज़ किए गए मॉडल से उनके काम पर चलता है, लेकिन उन्होंने मॉडल आर्किटेक्चर को तथाकथित मिक्चर-ऑफ-एक्सपर्ट्स मॉडल के रूप में संशोधित किया है। विशेषज्ञों के इस मिश्रण ने अपने मिस्ट्रल मॉडल के 8 अलग-अलग उदाहरणों और संसाधित इनपुट्स को इनमें से कई उदाहरणों के साथ जोड़ा, जिससे परिणामों का संयोजन होता है। हालांकि कोई भी निश्चित रूप से नहीं जानता है, यह GPT4 जैसे मॉडलों का संदिग्ध आर्किटेक्चर है जो बंद स्रोत हैं। मिक्सट्रल विशेषज्ञों के पहले प्रमुख खुले और अनुमत लाइसेंस प्राप्त मिक्चर-ऑफ-एक्सपर्ट्स लार्ज लैंग्वेज मॉडल का प्रतिनिधित्व करता है।
मॉडल अंग्रेजी, फ्रेंच, इतालवी, जर्मन और स्पेनिश इनपुट को संभालता है और यह कोड जनरेशन में भी मजबूत प्रदर्शन दिखाता है। वास्तव में, कई बेंचमार्क पर, मिक्सट्रल OpenAI से GPT3.5 के प्रदर्शन से अधिक है।
आप सोच सकते हैं कि इस मिश्रण प्रकार का मॉडल कम्प्यूटेशनल रूप से कम कुशल है, लेकिन, टुगेदर एआई के समान, मिस्ट्रल ने जानबूझकर मॉडल को कुशलता से चलाने पर काम किया है। उन्होंने लागत और विलंबता को नियंत्रित करने के लिए “स्पैस” तकनीकों को एकीकृत किया है।
जैसे-जैसे हम इस एपिसोड को समाप्त करते जा रहे हैं, मुझे लगता है कि हमें AI इनोवेटर्स के विकास के लिए प्रोत्साहित किया जा सकता है, जो बाइबल अनुवाद में इस तकनीक के लिए हमारे कुछ लक्षित अनुप्रयोगों के साथ संरेखित होते हैं। परमेश्वर आशीर्वाद और अनुग्रह दिखा रहा है क्योंकि ये कंपनियां मल्टी-मोडैलिटी और कम्प्यूटेशनल दक्षता पर काम कर रही हैं, दो विशेषताएं जो बाइबल अनुवाद के भीतर एआई के उपयोग को बढ़ाने के लिए मिशन महत्वपूर्ण होंगी।
यदि आप इन घटनाओं के बारे में और जानना चाहते हैं, तो शो नोट्स में दिए गए लिंक देखें। सुनने के लिए धन्यवाद, और जल्द ही टेक एंड टेस्टामेंट के एक और एपिसोड की तलाश करें!