specssss的博客

基于OpenSora框架，创新两种运动处理模块如下图所示，Tora包括一个Spatial-Temporal Denoising Diffusion Transformer，（ST-DiT，时空去噪扩散变换器）、一个Trajectory Extractor（TE，轨迹提取器）和一个Motion-guidance Fuser（MGF，运动引导融合器）。

Vozo Rewrite & Redub 是一款创新的视频编辑工具，可以通过简单的提示重写视频脚本、然后这个工具会自动给视频重新配音、翻译语音并口型同步，然后生成新的视频。无论是将经典视频转变为病毒视频宣传片，还是将普通视频变成喜剧，或是将一种语言翻译成多种语言，Vozo 都能在几秒钟内完成。

项目简介Backseat A是一个免费的、Riot批准的英雄联盟AI伴侣，在比基过程中，通过语音为玩家提供实时的游戏评论和建议，包括购买建议、对线策略等。它通过语音覆盖和游戏内评论提供现场教练、职业构建、统计数据、符文和对策。该AI旨在帮助玩家提高性能，同时不影响游戏性能。用户可以请求提示、接收赛前建议和赛后分析。通过实时评论，玩家可以更好地了解自己的表现，并根据建议进行调整，提升游戏技能。

前面我们有提到过韵律特征：停顿和笑声，实际上模型有许许多多种韵律的调整，不仅限于文本里常见的附加[uv_break]和[laugh]（实际上笑声也有三种，[laugh_0]、[laugh_1]、[laugh_2]），还有[music]、[pure]、[oral_0]、[speed_3]、[Stts]、[Ptts]等，标记处上下文都会受到程度不一的影响，这样可以很好地做到控制情绪的表达而不显突兀。生成效果上，不论是语调还是语气的变化，都比较细腻，非常接近真人的说话方式，不会停留在单一的音调上显得生硬。

AIGC技术为儿童的学习、游戏和绘画带来了无限的可能性。在这个六一儿童节，让我们鼓励孩子们利用这些工具和平台，发挥他们的想象力和创造力，享受学习的乐趣，探索未知的世界。通过这些AIGC技术驱动的网站，孩子们不仅能够获得知识和技能，还能够在创造和探索中找到快乐。祝所有孩子们六一儿童节快乐，愿他们在这个特别的日子里，通过AIGC技术体验到学习和创造的无限乐趣。

腾讯今天发布了元宝大模型，又称宝子，一下子把腾讯的大模型又拉入了大家的视野，虽然并不在最早的大模型班车上，但是仍旧以卓越的性能和创新的应用场景，占据了一席之地。它不仅能够处理和学习多种类型的数据，包括文本、图像、声音等，还能够在不同的应用场景中自我调整，以适应不同的需求。混元大模型的应用场景丰富多样，从文档创作、会议场景、广告场景到营销场景，它都能提供相应的智能化服务，提高工作效率和质量。在内容创作方面，混元大模型支持文学创作、文本摘要、角色扮演等多种能力，能够生成流畅、规范、中立、客观的文本内容。

Khoj是一个开源的、个人化的AI助手，旨在充当你的第二大脑。它能够帮助你回答任何问题，不论这些问题是在线上的还是在你自己的笔记中。如果你有很多保存的笔记、PDF文件、Markdown文档、GitHub仓库或Notion文件，Khoj可以从这些本地存储的资料中找到相关信息，回答你的问题。高性价比GPU资源：https://www.ucloud.cn/site/active/gpu.html?如果你有一个问题需要从互联网获取最新的信息，Khoj可以进行在线搜索，找到相关答案。

它不仅会指出错误，还会引导学生找到解决方案，从而增强学生的自主学习能力。LearnLM-Tutor 能够根据学生的学习目标和进度，制定个性化的学习计划和策略，帮助学生有条不紊地进行学习，并根据学生的反馈和表现动态调整学习计划。例如，在编程学习过程中，学生可以与 LearnLM-Tutor 进行多次互动，逐步完成复杂的项目，而模型则会记住之前的对话，提供持续的指导。例如，在解决数学问题时，如果学生计算出错，LearnLM-Tutor 会指出具体的错误步骤，并通过提问引导学生找到正确的解题方法。

Baichuan 4在各项能力上较之前版本有显著提升，通用能力提升超过10%，数学和代码能力分别提升14%和9%。"百小应“是一个整合了搜索技术和大模型能力的AI助手，能够理解和回答用户的问题，快速阅读文件、整理资料并辅助创作。百川智能发布新一代基座大模型 Baichuan 4，并推出首款 AI 助手「百小应」，具备搜索技术与多模态能力。此外官方还称，Baichuan4还具备多模态能力，在各大评测基准上表现优异，领先 GeminiPro、Claude3-sonnet 等多模态模型。

Veo是由Google DeepMind开发的一款视频生成模型，用户可以通过文本、图像或视频提示来指导其生成所需的视频内容，能够生成时长超过一分钟1080P分辨率的高质量视频。Veo拥有对自然语言的深入理解能够准确捕捉和执行各种电影制作术语和效果，如延时摄影或航拍镜头。Veo生成的视频不仅在视觉上更加连贯一致，而且在人物、动物和物体的动作表现上也更加逼真。Veo的开发旨在使视频制作更加普及无论是专业电影制作人、新兴创作者还是教育工作者，都能够利用这一工具来探索新的叙事和教学方式。

这款模型支持多种输入（文本、音频、图像）和输出（文本、音频、图像）模式，其响应音频的速度极快，最快可达 232 毫秒，平均响应时间为 320 毫秒，与人类在对话中的反应速度相当。无论是处理英语文本还是代码，GPT-4o 的表现堪比 GPT-4 Turbo，而在处理非英语文本方面则有了显著提升，同时运行速度更快，API 成本也减少了 50%。根据传统的基准测试，GPT-4o 在文本处理、逻辑推理和编程能力方面与 GPT-4 Turbo 相当，而在多语言处理、音频和视觉技术方面则设立了新的最高标准。

高性价比GPU资源：https://www.ucloud.cn/site/active/gpu.html?你可以根据识别结果选择文本片段或说话人进行视频裁剪。Funclip不仅支持中文，未来还将支持英文视频剪辑，是视频内容创作者和编辑者的理想选择。它能够自动识别视频中的中文语音并允许用户根据语音内容来裁剪视频。该工具使用了阿里巴巴语音识别模型FunASR Paraformer-Large确保了剪辑的精准性。Funclip 是阿里巴巴通义实验室开源的一款视频剪辑工具，专门用于精准、便捷的视频切片。

从多模型到单一模型：与之前版本相比，GPT-4o 通过单一模型端到端训练，处理所有输入和输出。多模态输入与输出：GPT-4o是第一个将文本、音频和图像输入整合的模型，可以生成文本、音频和图像的任意组合输出。这种设计显著提高了与计算机的自然交互能力。根据传统的基准测试，GPT-4o 在文本、推理和编码智能方面的性能达到了 GPT-4 Turbo 的水平，同时在多语言、音频和视觉功能方面也创下了新高。今天凌晨OpenAl发布了 GPT-4o，这是一种新的人工智能模式，集合了文本、图片、视频、语音的全能模型。

Llama3 中文聊天项目综合资源库，集合了与Lama3 模型相关的各种中文资料，包括微调版本、有趣的权重、训练、推理、评测和部署的教程视频与文档。11.agent工具能力增强版ModelScope Chinese Agent版V1(中文，可根据要求帮你选择工具)https://modelscope.cn/models/swift/Llama3-Chinese-8B-nstruct-Agent-v1/summary基于EmoLLM心理数据微调的Llama3-8B-Instruct 模型。

在OpenCompass基准测试中，通义千问2.5的表现与GPT-4 Turbo并驾齐驱，显示出其卓越的性能，阿里的1100亿参数开源模型Qwen1.5-110B在性能上超越了Meta公司的Llama-3-70B模型，进一步证明了其技术实力。通义千问2.5在AI问答领域取得了显著的进展，其在理解力、逻辑推理、指令执行和编程技能方面分别实现了9%、16%、19%和10%的性能提升。通义千问2.5具备自我学习和优化的能力，通过不断的交互学习，系统能够逐渐提升其回答的质量和准确性。

2.高度自然的语音输出:与早期的TTS模型相比，Zero-shotTTS模型生成的语音更加自然、流畅，并且能更好地捕捉到人类语音的细微差别，如语调、节奏和情感表达，使合成语音更加生动、接近真人。6.负责任的AI使用:鉴于合成语音技术可能被误用的风险，微软对Zero-shot TTS模型的使用实施了严格的指导原则和访问控制，确保技术的负责任部署和使用，保护个人和社会的权利。与初始模型相比，这些新模型提高了合成语音的自然度，并更好地模仿了提示语音中的语音特征。1.语音助手:创建个性化的语音助手体验。

Harvey的愿景是成为团队的支持成员，随着法律工作量的增长，助理们在复杂但常规的任务上花费了无数小时，我们拥有的机会不仅仅是法律，而是所有专业服务，即处理常规任务，以便专业人士可以将时间集中在客户互动上。结果显示，在97%的情况下，律师们更倾向于选择定制案例法模型的输出。定制模型的输出不仅仅是回答问题，而是提供了长篇、完整的解答，深入到问题的各个细节，并广泛涵盖相关的案例法，这对法律专业人士来说极具价值。，这是因为它提供了更长、更完整的答案，更深入地探讨了问题的细节，并涵盖了更多相关的案例法。

你只需要告诉 LLM，你现在是 CEO，你现在是软件工程师，然后它们就会开始协作，进行深入的对话。一方面人类会慢慢适应和智能体协作解决任务的新模式，很多任务不再像搜索引擎那样，你输入问题马上得到结果，而是异步的，你给 AI 提供一个任务，然后 AI 会去完成，完成后再通知你，类似于老板和员工的关系。规划是指让 AI 自己去规划解决问题的路径，去对复杂的任务进行拆解成简单的问题，比如说像以前很火的 AutoGPT，就是针对用户的任务，去规划，去调用外部工具完成任务。

4、布局和样式: 为 iOS 应用构建两个引导屏幕，学习将视图放置在屏幕上所需的工具，并检查它们的大小。2、探索Xcode: 通过创建一个消息应用原型来了解 Xcode 和 SwiftUI，学习 Swift 语法以及如何使用源代码编辑器和预览。6、列表和文本字段: 创建一个动态界面，将一组项目存储在数组中，并使用列表显示它们。5、按钮和状态: 探索在应用中添加按钮，了解 Swift 闭包及其与按钮的关系。3、视图、结构和属性: 学习如何构建自定义视图以创建多日天气预报，并使用属性自定义每天的显示。

初期的Sora成本将非常高，肯定是不适合普通人来使用，所以目前OpenAI都是先找一些艺术和电影工作室或者公司合作。推理成本：一个Nvidia H100 GPU大约每小时能生成5分钟的视频。

前言众所周知，在自媒体爆火的那段时间，影视号是最容易起量的，借助高质量的影视，进行剪辑，解说，等二次创作，最终制作成高质量的作品，但是随着自媒体的发展，影视号越来越多，作品数量越来越多，制作成本也就日益增多。那么如何快速制作出来优质的有趣的影视自媒体作品，就成了一个难题。但是随着AI的发展，或许这个问题慢慢有了解决的思路。新玩法。

在本月OpenAi开发者大会上，OpenAI宣布推出了GPTs功能，也就是GPT Store，类似App Store的应用商店，任何用户都可以去参与创建应用。通过该功能，用户可以定制化打造自己的GPT，并公开分享至OpenAI的应用商店。定制过程就像对话一样简单，只需要给出指令和知识，GPT Builder就能自己生成，无需编写代码。那么GPTS应用该如何创建?下面就为大家带来GPTS应用创建图文教程，看完相信你也能立马上手啦!

在一项名为MedQA的研究中，使用Medprompt的GPT-4在没有集成的情况下，仅通过自动生成的CoT提示就比专家制作的CoT提示提高了3.1个百分点。此外，研究也进行了消融研究（Ablation Study），以评估Medprompt各组成部分的贡献度，并发现GPT-4自动生成的CoT、动态少量样本提示和选择重排集成分别对性能的提升有显著贡献。这一方法的成功展示了利用创新的提示技术可以显著提升基础模型在专业领域的能力，从而为解决复杂问题提供了新的途径。

高级上下文限制：目前，200,000 个代币的上下文限制仅适用于 Pro 用户，价格与 ChatGPT Plus 订阅（目前暂停）相似，为每月 20 美元。Claude 2.1 在线上线：升级版本已在 claude.ai 的 Thropic 托管聊天机器人界面和付费的 Claude Pro API 层推出。自定义指导与上下文：Anthropic 引入了系统提示功能，允许用户为 Claude 提供自定义说明和上下文，以提升其在特定任务上的性能。，本文将总结Claude 2.1的主要功能。

软件开发人员会喜欢的。

上次openai的开发者大会上发布了gpts智能体的概念，并且说明会有一个类似appstore商店的应用商店，从而让每个接入商店的智能体都获益。官方说明这个商店将在本月晚些时候推出，会展示经过验证的构建者创建的GPTs。（PS：鉴于CEO奥特曼和其它人事的大规模变动，这个进程可能会被严重拖延）如果不是会员怎么办，现在官方关闭了Plus的充值渠道，想要测试体验的小伙伴只能通过渠道购买了（太火了，太火了，竟然因为用户过多，关闭充值）。首页点击创建Gpts，然后选择任意一种创建模式。

也可以使用爬取的内容创建Assistant自定义助手，这样你就可以通过一个 API来访问这些生成的知识。创建自定义 GPT：利用这个知识文件，用户可以在 OpenAI 平台上创建自己定制的 GPT 聊天机器人。生成知识文件：爬取的内容被整理成 JSON 文件，这个文件包含了从网站上获取的所有知识。简单来说，就是提供了一种方式，让你能够在你的软件或产品中使用这些爬取并整理好的知识。使用此选项可以通过 API 访问生成的知识，以便将其集成到您的产品中。6.在“知识”下选择“上传文件”并上传您生成的文件。

AnimateDiff可以搭配扩散模型算法（Stable Diffusion）来生成高质量的动态视频，其中动态模型（Motion Models）用来实时跟踪人物的动作以及画面的改变。我们使用 AnimaeDiff 实现时间一致性,使用ControlNet复制参考视频的运动,然后改变不同时间点的提示prompt，打造多种场景再组合成视频。它克服了 AnimateDiff 运动不佳的弱点，并保持了较高的帧间一致性。工作流程文件执行的操作为1.将视频作为输入。

此外，如果用户提供了之前的设计 HTML，你需要在此基础上进行改进。根据用户的要求，对设计进行相应的调整。在草图中，旧版设计的 HTML 会显示为一个白色矩形。主要是分享一下它的Prompt，很简单，用户画好草图后，将草图保存成png图片，传给GPT-4V，然后GPT返回一个标准的HTML，并且所有的样式表采用Tailwind CSS的格式，这样只要页面引用了TailwindCSS，就能直接正常显示样式。并且，除了草图，它还可以传入之前生成的HTML，这样可以基于之前的HTML进行修改，而不是重头生成。

Altman 表示，与微软首席执行官 Satya Nadella 的合作“进行得非常顺利”，他预计“随着时间的推移会从这家科技巨头和其他投资者那里筹集更多资金”，以应对构建更复杂 AI 模型的高昂成本。他认为，大型语言模型（LLM），即支撑 ChatGPT 的模型，是“构建 AGI 的核心部分之一，但在其上还会有很多其他部分”。OpenAI 最近发出了征集大规模数据集的呼吁，特别是那些“今天在互联网上尚未公开轻松获取”的数据集，尤其是长篇写作或任何格式的对话。

emmmmmm，熟悉的味道，熟悉的配方，这跟原来APP的应用刚起来的时候，一样的感觉。1：作为一名开发者，我早早就学到一个真理，如果你主要依赖于一个 API，而提供该 API 的公司很容易吸收你的服务的功能，那么你很可能是在浪费时间。前几天Openai召开了首届的开发者大会，45分钟的会议，让千万用户感到兴奋，但是让万千的套壳的创业公司，却感觉如坐针毡。目前各类的智能体的集合，Openai创建了自己的智能体应用商店，目前已经上架了数千款的应用。保护了你的数据隐私。这个功能，我认为是本次更新最变态的功能！

ldataset.tar.gz：以统一的json格式编制的12个任务数据集 放置在PROJECT/data/dataset/目录下lcompletion_data.tar.gz：所有教师和学生的完成数据，即所有实验的推理数据，解压后约8GB 放置在PROJECT/saved/completion_data/目录下lteacher_completion_data.tar.gz：Zero-shot-CoT（带有多样化推理）在默认教师模型text-davinci-002上使用OpenAI API的完成数据。

比尔·盖茨在他的 Gatesnotes 网站中发表了一篇文章，分享了他对软件应用和人工智能代理未来的见解。他认为人工智能代理将大行其道，在接下来的五年里，这将完全改变。你不需要为不同的任务使用不同的应用程序。你只需用日常语言告诉你的设备你想做什么就可以...文章总结：1、软件进化：盖茨回顾了自微软早期以来软件的发展，但指出尽管软件有了很大进步，从很多方面来看，它仍然相当“笨拙”。在计算机上进行任何任务，你都需要告诉设备使用哪个应用。

从实际技术的角度来说，特斯拉这种企业做机器人有先天性优势，因为机器人与AI的很多基本原理都是相同的，而且也可以视为电动车的自然延伸，电动车可以视为第一代的四轮机器人。Optimus的技术大部分与特斯拉汽车的一致，如机器视觉，以及处理视觉数据、做出行动决策、支持通信交流的“大脑”，还有最重要的与特斯拉汽车一致的芯片，还搭载与特斯拉车辆同源的FSD电脑以及Autopilot相关神经网络技术，预计最终售价不超2万美元，约合14.4万元人民币。而从实际应用的角度来看，推动整个产业链走向成熟和完善的可能也是特斯拉。

随着助手API的引入，开发者现在可以构建更智能、更能自主运行的代理，这可能会减少对如Langchain这类抽象层的需求，因为检索功能已内建于API中。最后，通过商业化的自定义GPT和版权保护，OpenAI正在为用户提供一种更安全、合规且具有商业潜力的使用AI的方式。- 当使用OpenAI的产品时，版权保护功能可以保护您和您的公司不受版权索赔的影响。- tts-1模型优化了速度，而tts-1-hd模型优化了质量。- OpenAI发布了tts-1和tts-1-hd模型。

但是可能很多人不了解的是，李开复的本身学的专业就是“AI”，可谓是AI从诞生以来的第一批学生，要知道AI这个概念是从60年代刚提出来的，而在他求学的80年代，当时计算机还是稀有的产物，有AI课程的在美国的高校更是屈指可数。在书中，“grok”是一个火星术语，没有直接的地球翻译。总结：零一万物第一轮发布即发布了两款小模型，并且完全的开源可商用，通过测评数据来看应该是开源里面效果比较好的，后续也期待更强大的闭源版本。都是属于行业内综合能力比较顶尖的，那么他们打造的大模型，应该是可以期待的。

大语言模型（LLMs）已经在广泛的任务中展示出了令人瞩目的表现和巨大的发展潜力。然而，由于这些模型的参数量异常庞大，使得它们的部署变得相当具有挑战性，这不仅需要有足够大的内存空间，还需要有高速的内存传输带宽。在这篇文章中，我们提出了一种高效的方法，可以使得大语言模型的部署变得更为高效。我们支持自动化的仅限权重的 INT4 量化流程，并为此设计了一个特殊的、经过高度优化的大语言模型运行时环境，从而加速了在 CPU 上进行大语言模型推理的过程。

HeyGen的开发团队为诗云科技，司如其名，公司名中的“诗云”取自刘慈欣科幻小说《诗云》，寓意人的创造性无法被科技取代，但创作的过程和效率却可以被机器极大优化，而现实中诗云科技要做的也是用AI生成内容，让用户以更低成本完成内容创作。最近这两天，郭德纲说英语相声的视频刷到了一遍又一遍，这些视频并非简单的配音或者AI变声，而是高度贴合人物声线和风格、甚至连嘴型都匹配，如果不仔细看，你根本看不出任何破绽，因为内容是郭德纲的，音色是郭德纲的，就连口型都能对的上，以假乱真程度让围观者大为震惊。

单独记录下角色的名字，之后我们也会在插图中使用它们。Amazon的一个主要优势是其广泛的影响力，使其成为最重要的出版商之一。考虑流行的主题，比如动物、车辆、仙女等等。这里选择的是动物的漫画书，因为笔者喜欢可爱小动物。选择你的主题后，可以让ChatGPT描述你的主要角色特征，比如头发、脸、眼睛、年龄等等。你可以使用Canva，在场景文本中添加生成的插图。提示: "漫画插图，主角是<主角名>，<场景动作>，—ar 7:4，种子: 100"最好的是，Amazon提供在其平台上运营广告的选项，价格低至每天1美元。

作为一个C端的消费者，站在我们的视角，我们每个月去续费20美金的gpt4的会员，可能很多人有这个消费能力，但是依然有很多人不愿意去付费，究其根本还是因为，20美金没有给自己带来对应的价值，这个价值，可以仅限于工作效率的提升。但是对于未来的人们来讲，越来越封闭和独立，而“陪伴”的价值，可能对于个人来讲，是无价的。小编分析，openai的最终产品，不会仅仅停留在AGI的应用，可能会结合人形机器人，打造出来一款类似于“情侣机器人”，“家庭保姆”，家庭管家类似的角色，最终真正的代替更多的人力，服务人类。